[NLP] IRQA

Information Retrieval Questions and Answering (IRQA)

IRQA Task는 챗봇을 위한 Task로 사전에 정의해 둔 QA table에서 가장 적절한 답변을 찾아내는 Task이다.

사용자가 어떤 질문을 하게 되면 모델을 통해 sentence embedding을 하게 된다.
사전에 QA쌍도 sentence embedding을 통해 벡터화 되어 저장하고 있으며 사용자의 질문과 QA Table의 question과 유사도를 통해 유사한 질문을 선택하게 되고 그에 맞는 답변(answer)를 출력하게 된다.

이 Task 뒷단에 Paraphrase Dection 모델을 부착시킬 수 있으며 이 모델은 두 문장의 관계를 분류하는 모델이다. 이 모델은 QA Table에서 Top-N개로 추출된 데이터가 가장 적절한 정답이 아닐 수 있기 때문에 검증을 하는 역할을 하게 된다. 결과적으로 이 모델의 filtering을 통과한 데이터만 사용하게 된다.