viamemine

Phrase Retrieval in ODQA Error propagation: 5-10개의 문서만 reader에게 전달됨retrieval에 의존도가 높아짐Query-dependent encoding: query에 따라 정답이 되는 answer span에 대한 encoding이 달라짐query와 context를 concate해서 encoding을 하다보니 query가 달라지면 모두 다시 encoding을 해야함 Phrase search (document search) 문서 검색을 하듯이 phrase(절)을 바로 검색할 수는 없을까라는 아이디어에서 나옴Phrase indexing문장에서 각 phrase마다 나누어 key vectors를 생성해둔다면 query vector만 encoding하여서 Nearest..

Open-book QA대량의 지식소스를 특정 문서 단위로 나누어 dense / sparse 형태로 표현한 후, query가 들어오면 가장 그와 관련된 문서를 searchClosed-book QA대량의 지식소스(위키피디아)를 기반으로 사전학습된 언어 모델이 그 지식을 기억하고 있을 것이라 가정함Search 과정 없이 바로 정답을 생성함사전학습된 언어 모델이 얼마나 지식을 잘 기억하고 있는지가 매우 중요함 Closed-book QA as Text-to-Text formatClosed-book QA에 사용된 방법은 generation-based MRC와 유사함단, 입력에 지문(context)가 없이 질문만 들어감사전 학습된 언어 모델은 BART와 같은 seq-to-seq 형태의 transformer 모델을 사..