Struktura problemu QA¶
- przeszukiwania tekstów - selective question answering
- znajdowanie odpowiedzi - extractvie question answering
Selective QA¶
- zależy mocno od domeny problemu:
- Jeopardy - Wikipedia
- wyszukiwanie artykułów naukowych
- wyszukiwanie przepisów prawa
- wyszukiwanie orzeczeń
- różne możliwe podejścia
- FTS + model neuronalny
- tylko model neuronalny
- kluczem jest szybkość wyszukiwania
- ElasticSearch + NBoost
- FAISS
Przeuczenie modelu¶
GPT-1 - OpenAI¶
GPT-2 - OpenAI¶
Źródło: "Language Models are Unsupervised Multitask Learners" A. Radford, J. Wu, R. Child, D. Luan,D. Amodei, I. Sutskever
Istota mechanizmu atencji¶
- The animal didn't cross the street because it was too tired.
- The animal didn't cross the street because it was too crowded.
Warianty BERTa¶
- architekturalne
- Albert
- XLNet
- BART
- ...
- pretrenowane
- RoBERTa, XLMR
- FlauBERT
- FinBERT
- PolBERT
- HerBERT
- ...
Selektywne odpowiadanie na pytania¶
- SOLR/ElasticSearch
- ElasticSearch + NBoost
- REALM
- Dense Passage Retriver
Założenia odpowiadania selektywnego¶
- wybór 10-1000 wyników spośród milionów dostępnych dokumentów
- wysoka szybkość działania (10-100ms dla zbiorów zawierających miliony dokumentów)
REALM - Retrieval-Augmented Language Model Pre-Training (Google)¶
- pre-trening - uczony jest MLM, który wspomaga się fragmentami tekstu z korpusu
- fine-tuning - model odpowiadający na pytania, na podstawie znalezionych fragmentów
p(y|x)p(y|x)
- pre-training: xx - zdanie, yy - zamaskowany token
- fine-tuning: xx - pytanie, yy - odpowiedź
Pre-training¶
ZZ - zbiór dokumentów zz, które pomagaja odgadnąć token (|Z||Z| - miliony dokumentów)
p(z|x)p(z|x) - określenie przydatnych dokumentów
p(y|x,z)p(y|x,z) - odgadnięcie najbardziej prawdopodobnych zamaskowanych wyrazów na podstawie zdania xx i dokumentu zz
p(y|x)=∑z∈Zp(y|x,z)p(z|x)p(y|x)=∑z∈Zp(y|x,z)p(z|x)
Knowledge retriver¶
p(z|x)=expf(x,z)∑z′expf(x,z′)p(z|x)=expf(x,z)∑z′expf(x,z′)
f(x,z)=EI(x)TED(z)
joinB(x)=[CLS]x[SEP]
joinB(x1,x2)=[CLS]x1[SEP]x2[SEP]
EI(x)=WIBCLS(joinB(x))
ED(z)=WDBCLS(joinB(ztitle,zbody))
Knowledge augumented encoder¶
p(y|x,z)=ΠJxj=1p(yj|x,z)
p(yj|x,z)∝exp(wTjBMASK(j)(joinB(x,zbody)))
p(y|x,z)∝∑s∈S(z,y)exp(MLP([hstart(s);hend(s)]))
hstart(s)=Bstart(s)(joinB(x,zbody))
hend(s)=Bend(s)(joinB(x,zbody))
Trening¶
- podstawowy problem - obliczenie p(y|x)=∑z∈Zp(y|x,z)p(z|x)→ ogranicznie do top-k dokumentów
- użycie algorytmu MIPS do znalezienia top-k dokumentów
- wymaga to obliczenia ED(z) dla wszystkich dokumentów w zbiorze → asynchroniczna aktualizacja indeksu, obliczenie nowych osadzeń dla top-k dokumentów
Zbiory danych¶
- NQ - natural questions, pytania użytkowników Google
- WQ - web questions, Google Suggest API
- CT - curated Trec, MSNSearch, AskJeeves
DPR - Dense Passage Retriver (Facebook)¶
EP(⋅) - enokoder dla fragemtnów dokumentów
EQ(⋅) - enkoder dla pytań
sim(q,p)=EQ(q)TEP(p)
EP(⋅),EQ(⋅) - są osobnymi sieciami opartymi o BERTa (tzn. mają zestaw parametrów trenowanych niezależnie).
Indeksowanie i inferencja¶
- dla każdego fragmentu aplikowana jest funkcje EP(⋅)
- fragmenty mają rozmiar 100 wyrazów
- dane składowane są w indeksie FAISS (podobnie jak w przypadku ES/SOLR jest to kosztowna operacja)
- zapytanie jest zamieniane z użyciem funkcji EQ(⋅)
- wyniki wyszukiwane są w czasie sub-liniowym
Trening modelu¶
D={⟨qi,p+i,p−i,1,p−i,2,⋯,p−i,n⟩}mi=1
L(qi,p+i,p−i,1,p−i,2,⋯,p−i,n)=−logesim(qi,p+i)esim(qi,p+i)+∑nj=1esim(qi,p−i,j)
Strategie wyboru negatywnych przykładów
- losowa
- BM25
- wybór przykładów z innych odpowiedzi w tym samym batchu (nazywana gold w artykule)
Strategia gold¶
- Q, P - macierze B osadzeń dla pytań i fragmentów dokumentów o rozmiarze B×d
- S=QPT - macierz rozmiaru B×B podobieństwa pytań do fragmentów
- każda para (qi,pj) jest pozytywna, jeśli i=j, a negatywna w przeciwnym razie
Literatura¶
- Vaswani, Ashish, et al. Attention is all you need. Advances in neural information processing systems. 2017.
- Devlin, Jacob, et al. Bert: Pre-training of deep bidirectional transformers for language understanding. arXiv preprint arXiv:1810.04805 (2018).
- The Illustrated transformer
- The Illustrated BERT
- REALM: Retrieval-Augmented Language Model Pre-Training
- Dense Passage Retriver
- Rozdział 9 SLP
Automatyczne odpowiadanie na pytania dr inż. Aleksander Smywiński-Pohl apohllo@agh.edu.pl http://apohllo.pl/dydaktyka/nlp konsultacje: czw. 16:30-17:30