[Paper] Passage Re-ranking with BERT

Background

• Query-Document Interaction Models : query와 document 사이의 유사성을 계산하여 랭킹을 해주는 모델 (KNRM, Conv-KRM, DUET 등)

Problem state

• ranking 모델을 학습시킬 수 있는 대규모 데이터셋의 부족

Contribution

• MS MARCO 데이터셋과 BERT를 reranker로 이용하여 새로운 ranking 모델 제안

Method

• query는 64 token, max length는 512를 갖도록 구성

• BERT-Large를 사용하며, CLS토큰을 사용하며 query와 document의 연관성에 대한 확률로 사용

Result

Conclusion

• BERT를 re-ranker로 fine-tuning하여 TREC-CAR, MS MARCO task에 대해 성능 향상을 이뤄냄