Boostcamp week11 day5 Passage Retrieval 구현

Dae Hee Lee·2021년 10월 18일
0
  1. Sprase Retrieval 구현
    수업시간에 배운 TF-IDF를 통해 문서들의 Sparse Representation을 구한 후, 벡터 내적을 통해 유사도를 구하여 관련된 문서를 구한다. 간단한 사용과 확장성을 위해 Class로 코드를 합쳐보자.

  2. Dense Retrieval 구현
    수업시간에 배운 Dense Retrieval을 Pre-train된 BERT 모델 2개를 문서와 질문을 통해 각각 훈련시킨 후 Dense Representation을 구하여, 1에서와 같이 벡터 내적을 통한 유사도를 구하여 관련된 문서를 구한다. 이 또한 손에 익혀지면 Class로 코드를 합쳐보자.

CSR Matrix

Spicy docs를 살펴보자.

profile
Today is the day

0개의 댓글