[CS224n] Lecture 10: Question Answering

Tobig's 15&16 Text Seminar·2021년 11월 22일
0
profile
2021 투빅스 15&16기 텍스트 세미나입니다.

3개의 댓글

15기 김현지

SQuAD

  • Machine Comprehension task를 위한 데이터 셋
  • 지문(Passage) - 질문(Question) - 답변(Answer)으로 이루어져 있다.
  • SQuAD 1.1
    • 세 사람이 해당 dataset의 answer example을 작성
    • 한계점: passage 안에서 문맥을 이해하지 않고 단순 ranking task로 작독한다.
  • SQuAD 2.0
    • SQuAD 1.1에 새로운 5만 개 이상의 응답 불가능한 질문을 병합
    • No answer에 대해서는 임계값 사용: 임계값 이상의 결과에 대해서만 answer를 예측하고, 이하의 결과에 대해서는 no answer로 예측
    • 한계점: only span-based answers, span-based answers만 존재

QA model

  • Stanford Attentive Reader
    1. Question vector 생성: Bi-LSTM을 사용해 양 방향의 hidden state를 concat하여 question vector를 생성한다.
    2. Passage vector 생성: 마찬가지로 Bi-LSTM을 사용하며, 양 방향의 position 별로 hidden state를 concat하여 passage vector를 생성한다.
    3. Attention 메커니즘 사용: start token과 end token을 구한다.
  • BiDAF
    • attention이 양방향으로 적용된 모델
    • Character Embedding Layer → Word Embedding Layer → Contextual Embedding Layer → Modeling Flow Layer → Modeling Layer → Output Layer 단계로 이루어져 있다.

QA 태스크와 모델에 대해 잘 이해할 수 있는 발표였습니다. 감사합니다:)

답글 달기
comment-user-thumbnail
2021년 11월 23일

16기 주지훈

SQuAD 1.1

  • 세 사람이 해당 dataset의 answer example을 작성하고 3개 중 하나로 답이 나왔는지 안 나왔는지에 따라 평가
  • dataset들의 answerable 질문들에 초점을 맞춰서 passage 안에서 문맥을 이해하지 않고 단순 ranking task로 작독한다는 한계를 가짐

SQuAD 2.0

  • SQuAD 1.1에 새로운 5만 개 이상의 unanswerable questoins를 병합
  • 임계값을 사용하여 임계값 이상의 결과에 대해서만 answer를 예측하고, 이하의 결과에 대해서는 no answer로 예측
  • 현실의 본문-질문보다 쉽게 답변을 찾을 수 있는 구조이고 span-based answers만 존재한다는 한계를 가짐

QA model

  • Question vector 생성
  • Passage vector 생성
  • Attention

QA에 대해 알기 쉽게 정리해서 발표해주셔서 감사합니다!

답글 달기
comment-user-thumbnail
2021년 11월 24일

16기 이승주
SQuAD 1.1
세 사람이 해당 dataset의 answer example을 작성하며 평가는 Exact match와 F1-score로 한다.

SQuAD 2.0
dataset들은 'answerable'질문들에 초점을 맞춘다는 기존 SQuAD의 한계점과 SQuAD 1.1에 새로운 5만 개 이상의 unanswerable questoins 병합하여 응답 불가능한 질문은 온라인의 crowd worker들이 직접 생성한다. 따라서 임계값 이하의 결과에 대해서는 no answer로 예측한다.

SQuAD 2.2
only span-based answers이다.
현실의 본문-질문보다 쉽게 답변을 찾을 수 있는 구조이다.

QA model
Question vector 생성
Passage vector 생성
Attention

QA에 대해 쉽게 알려주시고 정리해주셔서 감사합니다.

답글 달기