Sprase Retrieval 구현
수업시간에 배운 TF-IDF를 통해 문서들의 Sparse Representation을 구한 후, 벡터 내적을 통해 유사도를 구하여 관련된 문서를 구한다. 간단한 사용과 확장성을 위해 Class로 코드를 합쳐보자.
Dense Retrieval 구현
수업시간에 배운 Dense Retrieval을 Pre-train된 BERT 모델 2개를 문서와 질문을 통해 각각 훈련시킨 후 Dense Representation을 구하여, 1에서와 같이 벡터 내적을 통한 유사도를 구하여 관련된 문서를 구한다. 이 또한 손에 익혀지면 Class로 코드를 합쳐보자.
Spicy docs를 살펴보자.