강의소개

• 9강과 10강에서는 retriever-reader 방법론 외의 ODQA를 푸는 다양한 방법들에 대해 알아보겠습니다. 9강에서는 최근 등장한 T5 모델을 활용한 closed-book QA에 대해 배워보겠습니다. T5의 핵심은 text-to-text format을 활용한다는 것인데, text-to-text format이 무엇인지, 그리고 이것을 QA에는 어떻게 활용할 수 있을지에 대해 이번 강의에서 중점적으로 다뤄보겠습니다.

Further Reading

• Exploring the limits of transfer learning with a unified text-to-text transformer(T5)
• How much knowledge can you pack into the parameters of language model?
• UNIFIEDQA: Crossing Format Boundaries with a Single QA System

Closed-book(or Closed-domain Question Answering

• open-book : 질문과 지문이 주어지거나, 질문에 맞는 지문을 찾고, 모델이 해당 지문에서 정답을 찾는 문제

• closed-book : 대용량의 데이터를 학습한 모델에 질문을 입력 시 정답을 찾는 문제

  • 해당 아이디어는, BERT, GPT, BART, T5등 large-scale의 모델이 대용량의 데이터를 학습한 경우 모델 자체가 하나의 '지식 저장소'로 판단하여 질문에 대해 정답을 가져올 수 있지 않을까라는 접근으로 시작
  • 이 부분은 GPT-2가 사전 학습 시 본 적이 없는 natural questions에 대해서 어느 정도 정답을 맞추는 것을 통해 어느 정도 증명을 해냄

• Open-book vs Closed-book

  • Open-book
    • how to search : 대량의 지식 소스를 sparse/dense 형태로 표현 후, 입력된 query와 가장 관련된 문서를 search
    • problem : 지식 소스 저장의 한계 및 검색 시간
  • closed-book
    • how to search : 대량의 지식 소스를 모델이 학습했기에 별도의 search 과정 없이 바로 답을 생성
    • problem : 모델이 얼마나 지식을 잘 기억하는지에 의존적

Text-to-Text Format

• closed-book은 generation-based MRC와 유사. 단, 입력에 지문(context)가 없이 질문만 입력으로 사용
• pretrained model은 BART, GPT-2, T5와 같이 seq2seq 형태의 transformer 모델을 사용
• text-to-text format에는 각 입력(질문)과 출력(답변)에 대한 서명을 맨 앞에 추가하여, 처음 본 task에 대한 이해를 도움