https://arxiv.org/abs/2306.17563
zero shot 기준으로 이 페이퍼 전에는
- pointwise - LLM한테 이 (query, document) 가 얼마나 relevant한지 점수를 매기는 방법
- listwise - LLM한테 이 (query, (d1, d2, ...dn))을 정렬하라고 시키는 방법
을 가지고 text ranking을 했었는데
이 페이퍼에서 처음으로
- pairwise - LLM한테 이 (query, d1, d2) 에서 d1, d2 중 더 관련있는 친구를 고르라고 하는 방법
을 제안한 것이라고 한다. pairwise 의 결과를 가지고 정말 모든 pair O(N^2) 에 대해서 결과를 구해도 되고, sorting alogrithm을 돌려도 되고, 아니면 sliding widnow라고 두 방법의 중간 정도 되는 방법을 써도 된다.
느낀점:
- 일단 LLM이 똑똑해야 제로샷으로 이렇게 써먹는데, LLM을 업으로 하는 사람이 아닌 입장에서 이 페이퍼가 썼던 Flan-T5-XXL(11B) 의 영어기준 퍼포먼스를 한국어 오픈소스 모델들이 낼 수 있는지를 모르겠다.
- 어차피 추가로 훈련을 해야한다면 이 전에 나왔다던 RankT5 페이퍼 같은 접근이 더 현실적일 수도 있겠다.
노션 대용 velog