Open-Book QA vs Closed-Book QA

 

• Open-book QA
  • 대량의 지식소스를 특정 문서 단위로 나누어 dense / sparse 형태로 표현한 후, 
    query가 들어오면 가장 그와 관련된 문서를 search
• Closed-book QA
  • 대량의 지식소스(위키피디아)를 기반으로 사전학습된 언어 모델이 그 지식을 기억하고 있을 것이라 가정함
    Search 과정 없이 바로 정답을 생성함
  • 사전학습된 언어 모델이 얼마나 지식을 잘 기억하고 있는지가 매우 중요함

 

• Closed-book QA as Text-to-Text format
  • Closed-book QA에 사용된 방법은 generation-based MRC와 유사함
  • 단, 입력에 지문(context)가 없이 질문만 들어감
  • 사전 학습된 언어 모델은 BART와 같은 seq-to-seq 형태의 transformer 모델을 사용함
  • Text-to-Text format에서는 각 입력값(질문)과 출력값(답변)에 대한 설명을 맨 앞에 추가함

 

• Model

 

• Experiment Setting
  •  Dataset
    • Open-domain QA 데이터셋 또는 MRC 데이터셋에서 지문을 제거하고 질문과 답변만 남긴 데이터셋을 활용
  • Salient Span Masking
    • 고유명사, 날짜 등 의미를 갖는위에 속하는 토큰 범위를 마스킹한 뒤 학습
  • Fine-tuning
    • Pre-trained T5 checkpoint를 Open-domain QA 학습 데이터셋으로  추가 학습  

 

• Quantitative Example

  

  • 대부분의Open-book 스타일 모델(문서 검색 후 기계 독해) 뛰어난 성능을 보여줌
  • 모델의 크기가 커질수록 성능이 증가함
    •  모델의 크기가 작다면, 과연 일반 open-book 모델보다 좋은 성능을 낼 수 있을까 ? 
    •  salient span masking이 성능을 크게 끌어올림 
       
• False Negative (예측하기로는 negative라고 예측했는데, 실제 정답은 positive 였음
  • Exact Match 기준으로, 오답으로 채점된 결과를 사람이 평가한 결과 오답이 아닌 경우
    • Phrasing Mismatch: 정답에 대한 표현이 다른 경우
    • Imcomplete Annotation: 정답이 여러개일 수 있으나 하나만 정답으로 처리되는 경우
    • Unanswerable: 질문을 한 시간이나 문맥에 따라서 정답이 달라지는 경우

 

 

• Limitations
  • 모델의 크기가 커서 계산량이 많고 속도가 느림
    • 더 효율적인 모델 필요함
  • 모델이 어떤 데이터로 답을 내는지 알 수 없음
    • 결과의 해석 가능성을 높이는 연구 필요함
  • 모델이 참조하는 지식을 추가하거나 제거하기 어려움

 

 

 

참조: https://lswkim322.gitbook.io/til/til-ml/boostcamp/p-stage-mrc/9-closed-book-qa-with-t5