한국어 언어 모델 학습 및 다중 과제 튜닝 - (6강) BERT 기반 두 문장 관계 분류 모델 학습

강의 소개

3강에서 배운 BERT를 가지고 자연어 처리 Task를 해결해 봅니다. 🥴

두 문장 관례 분류 모델 학습은 주어진 두 문장에 대하여 두 문장에 대한 라벨을 예측하는 것입니다.

5강의 단일 문장 분류 모델과의 가장 큰 차이점은 Input 문장의 개수입니다.

두 문장 관계 분류 모델에서는 2개의 문장을 받아 그 문장들의 관계에 해당하는 라벨을 예측합니다.😚

두 문장 관계 분류 task

• 주어진 2개의 문장에 대해, 두 문장의 자연어 추론과 의미론적의 유사성을 측정하는 task
• input : [cls] + segment A + [sep] + segment B + [sep]
• output : cls token의 출력인 representation에 부착된 Dense layer의 output

두 문장 관계를 분류하기 위한 데이터셋

• Natural Language inference(NLI)
  • 언어 모델이 자연어의 맥락을 이해할 수 있는지 검증하는 task
  • 전제문장(Premise)과 가설문장(Hypothesis)을 Entailment(함의), Contradiction(모순), Neutral(중립)으로 분류
• Semantic text pair
  • 두 문장의 의미가 서로 같은 문장인지 검증하는 task

두 문장 관계 분류 모델 학습

• 단일 문장 task와 큰 차이는 없고, 대신 앞서 설명한 것과 같이, input 형태만 달라지게 된다.
• 실습에서 진행할, BERT를 활용한 IRQA 챗봇을 구현해보자(이건 실습 코드로 진행할 예정)

Information Retrieval Question and Answering(IRQA)

• query가 들어왔을 때 사전에 정의한 QA 셋에서 가장 적절한 답변을 찾아내는 task
• 과정
  1. 사용자 질문(query) -> BERT를 통해서 sentence embedding
  2. 사전에 정의한 QA 테이블도 sentence embedding 후 question과 query의 유사도 비교하여 가장 적절한 문장 반환(Top-n 개 반환)
  3. Paraphrase Detection Model(두 문장 관계 분류 모델)을 통해서 실제로 두 문장이 유사한지 검증
  4. 검증 필터링에서 통과(1)를 하면 정답 출력

이후 과정은 실습 코드로 진행!!