🔍 Neural 신경망 검색 알고리즘

✔ 목적

질의가 들어오면 연관성이 높은 문서들을 출력한다

✔ 해결

질의와 문서를 BERT 신경망에 넣어 점수를 구한다. 점수를 바탕으로 랭킹을 매긴다.
(BERT는 기계학습 모델이다)

• Transformer 모델 : query의 단어들을 분석해 연관성이 높은 것을 다음 윗 계층으로 올린다.
• BERT : Transformer를 기반으로 만들어졌으며, 사전에 데이터를 풍부하게 학습하고, 그것을 바탕으로 새로운 데이터를 학습시킨다.

🔍 방법

• 딥러닝은 속도가 느린 단점이 있다. 그래서 먼저 BM25 모델을 사용하여 TOP n개의 문서를 고르고, TOP n개에 딥러닝을 적용한다.

• 방법1 "All-to-all Interaction"
  

• Query와 Document를 BERT에 넣어 최적의 해를 구한다.

• 하지만 Query와 Document마다 모든 관계성을 구하면 계산이 많아져 효율적이지 않다.

• 방법2 "Representation Similarity"
  

• Query와 Document를 따로 학습시킨다.

  1. Document를 미리 계산하여 Vector로 표현하고
  2. Query가 새로 들어오면 Query를 BERT에서 계산하여 Vector를 구한다.
  3. 두 Vector를 내적 계산하여 점수가 높은 것을 고를 수 있다.

• 단점 : Document 안에는 수많은 소스가 있는데 그것을 하나의 vector로만 표현하기에는 무리가 있다.

• 방법3 "Late Interaction"
  

  • ColBERT 모델

    1. Query와 Document를 각각 BERT로 결과를 산출하고, 결과는 행렬로 나타낸다.
    2. Query, Document 행렬에서 가장 점수가 높은 것을 선택한다.

  • 지금까지의 모델중에 제일 성능이 좋다.

  • 하지만 학습 도메인이 MS MARCO이기 때문에 다른 도메인을 적용했을 때는 성능 개선이 거의 없다.