RankT5: Fine-Tuning T5 for Text Ranking with Ranking Losses

https://arxiv.org/abs/2210.10634

T5는 input/output 모두 text이니까 이전 연구에서는 ranking을 학습할때도 pairwise로 true/false를 출력하도록 학습하게 했었는데, 자기들은 logit을 출력하도록 구조를 살짝 바꿔서 그 logit으로 직접 ranking loss 를 학습했다는 내용 (그리고 그러면 더 잘된다는 내용).

느낀점:

• T5가 BERT보다 더 capable하니까 랭킹을 더 잘하는거면, T5이후로 나온 더 큰 모델들은 랭킹을 더 잘하지 않을까?싶어서 찾아보면 당연히 누군가 해놓은게 있다.
  • https://blog.reachsumit.com/posts/2023/12/towards-ranking-aware-llms/ 처음에 이 분 블로그보고 무슨 ChatGPT로 찍어낸건 줄 알았는데 아니시다...
  • 여기서 https://blog.reachsumit.com/posts/2023/12/towards-ranking-aware-llms/#fine-tuning-llms-for-reranking 문단에 잘 나와있다