[논문 리뷰] Spread Preference Annotation: Direct Preference Judgment for Efficient LLM Alignment

Abstract

• preference alignment가 중요해졌지만, human-annotated preference dataset이 비싸다.
• seed preference dataset을 활용하여 iterative 하게 response를 생성하고 preference annotation을 진행한다. 다시 말해, iterative하게 preference dataset을 LLM이 직접 만들고 다시 그것으로 학습한다.
• LLM의 logit으로부터 model의 preference를 알아내고, 그것을 preference label로 취급한다.
• external reward model과 in-context learning을 활용한 것과 비교했을 때 outperform하였다.
• generated preference annotation의 low-quality risk를 방지하기 위해 noise-aware preference learning을 제시한다.

Introduction

• One of the remaining challenges is the reliance on large-scale human-annotated preference data.
• LLM-as-judge와 같은 approaches are only effective when the given LLM is sufficiently large and well-aligned to mimic human preference via in-context learning.
• External reward model을 두는 것에 대해서는, it is built on the availability of large human preference data and could also be ineffective if there is a distribution mismatch.
• 그리고 이러한 방법들은 potential labeling noise from LLMs 위험성 문제가 있다.
• 작은 seed data로 부터 iterative 하게 preference label을 만드는 것을 목표로 한다.
  • model의 logit을 직접 사용하여 model의 inherent preference을 추출한다.
  • noise를 mitigate하기 위해 confidence-based refinement of preference labels를 진행한다.
  • refinement를 더 잘하기 위해 extrapolation을 사용한다.
• 결과적으로 UltraFeedback ground truth 3.3%만 가지고도 SFT, DPO 3.3%, DPO 100%를 모두 능가했다. (DPO 100%를 능가했다는 점이 굉장히 신기한데…)

Related works and Preliminaries

Direct preference modeling and optimization

SPA

• DPO 내부 식 p_i-1(y1>y2|x) 이 곧 preference data로 사용될 수 있다.
• i-1 iteration을 활용하여 preference labeling을 하고 다시 학습을 진행한다. 다만 여기서 potential labeling noise가 잇을 수 있기 때문에, self-refinement with de-coupled noise detection

Self-refinement of preference label

• 만약 lower confidence를 보이는 preference sample 이 있다면, 이는 uncertain으로 potentially noise이다.

De-coupled noise preference detection

• noise를 더 잘 탐지하기 위해 De-coupled noise preference detection을 사용한다.
• preference data를 만든 것과 noise detection을 같은 모델로 하면 문제가 있을 수 있다.
• extrapolation을 진행하여 ref와 더 멀어진 (더 human-aligned) 모델로 noise detect하는게 좋다.

Experiments

• SPA방식이 3.3% DPO를 넘어섰고, 놀랍게도 100%의 gold label을 다 사용한 Zephyr-7b-beta보다 더 좋은 성능을 보였다.
• 해석해보자면, human ground truth 100%를 사용한 것보다, human ground truth 3.3%만을 사용해서 iterative 하게 preference annotation을 진행해서 학습한 게 더 좋은 성능을 보였다.
  • 이게 무슨 뜻일지 더 깊게 생각해보면… (이 결과를 받아들인다면) human annotation이 무조건 100% 성능향상에 도움이 되는 것은 아니라는 것이고, model의 preference label과 self-refinement, de-coupled noise preference detection이 뭔가 preference label을 더 좋은 퀄리티로 이끈다라고 받아들일 수 있다.
  • 실제로 human preference가 비쌀 뿐 아니라, bias도 존재하기 때문에 오히려 이럴 수도 있다?
  • 다만 seed를 어떻게 뽑았느냐와, 어떤 hyperparameter로 학습했느냐에 따라 이 결과가 뒤집힐 수도 있을 것 같다.
• 또 하나로, 이런 결과가 나왔으면 (human data 100%를 outperform하는) 이 결과가 너무 놀라워서 이를 많이 조명해야할 것 같은데 논문에서는 그다지 조명하고 있지는 않다. 그런 면에서 뭔가 우연에 의해 나온 것인가? 혹은 다른 무언가가 있나 생각이 든다.

Conclusion

• SPA, a method that can efficiently improve the alignment of LLMs using minimal human-labeled preference data.
• data expansion method with the direct preference judgment method and a preference learning algorithm with the self-refinement of (potentially) noise preference.
• We expect SPA to make significant contributions to future research and practical applications, especially when the human-labeled preference is hard to collect.

Takeaways

• preference labeling을 model이 하려는 시도는 있었지만, DPO 식 내부를 preference label로 쓸 수 있다는 점이 novelty인 것 같다.
• self-refinement, de-coupled noise detection은 원래 있었던 method인데 이를 활용해서 model generated preference label의 noise를 줄일 수 있겠다고 가져온 점이 배울만한 점이다.
• 정확히 어디서부터 어디까지가 이 저자들의 idea인지는 모르겠지만, 여러 idea들을 결합해서 결론적으로 나온 method가 의미가 있는 것 만으로도 contribution인 것 같다.
• 만약 이 method가 말이 된다면, mistral-7b 로도 preference labeling이 가능하다는 것이기 때문에, preference label이 부족한 domain, task에 대해서도 대체방안이 될 수 있다.
• 지금은 그냥 human preference data 만 가지고 활용했지만, value-based human preference data, persona-based human preference data, safety-alignment preference data와 같은 곳에서도 사용할 수 있을 것이다.