오늘 리뷰할 논문은 Critique-out-LOUD Reward Models입니다!

저번에 읽었던 논문 MM-RLHF: The Next Step Forward in Multimodal LLM Alignment과 Reward Modeling 측면에서 유사합니다. 따라서 오늘은 논문을 리뷰하면서 MM-RLHF-Reward-Model과의 차이점도 함께 분석해보겠습니다.

한국어로 해석하는 것보다 영어가 더 직관적일 경우에는 논문을 그대로 차용/약간 수정한 형태로 적어두었습니다:)

Abstract

기존 RLHF에서 사용하던 Reward models는 LLM의 생성능력을 활용하지 않아서 추론 과정이 빈약
→ RM이 응답의 질에 대해 명시적으로 추론하게 만들기 위해 Critique-out-Loud reward model 도입

• 간단한 흐름:

1. CLoud RM generates a natural language critiques of the response
2. Critique is used to predict a scalar reward for the quality of the response.

• demonstration
  - Llama-3-8B&Llama-3-70B로 진행.
  • RewardBench에서 이전 RM보다 높은 정확도 얻음.
  • Pareto improvement

Conclusion

• Through generating critiques, CLoud reward models can explicitly reason about the quality of a response
• improve average pairwise preference modeling accuracy
• performing Best-of-N decoding with CLoud reward models is a Pareto improvement over classic reward models for ArenaHard win-rate.
• CLoud reward models only benefit from self-consistency on reasoning problems and demonstrate that self-consistency is predominantly useful when assigning rewards to responses with short reasoning horizons

Introduction

기존 reward model은 LLM 기반의 prompt와 response의 분류기였음.
→ Reward modeling 과정서 LLM의 LM head가 사용되지 않음
→ RM can't explicitly reason about the quality of the response in CoT.

➡️ Reward modeling 과정서 비판적인 추론 능력 부족

So, 이 논문에서는 CLould reward model을 제시함으로서
→ LLM의 language generation 으로 critique을 산출
→ reward model의 성능을 높이고자 함.

Methods

기존 RM 방법론 설명 → Cloud RM 설명 순으로 다루겠습니다.

2.1 Classical Reward models

$L_{RM}(θ_B, θ_R, D) = −E(x,y^−,y^+)_{∼D} [log(σ(r_{θ_B,θ_R} (x, y^+) − r_{θ_B,θ_R} (x, y^−)))]$

• user prompt x, assistant response y로 이루어진 데이터셋 D를 기반으로 training
• base model과 Reward head의 파라미터로 이루어진 Reward model에서 preferred response에는 rejected response보다 높은 reward를 주도록 train시킴.

2.2 CLoud reward models

reward model 구성

• parameters: $θ = (θ_B, θ_{LM}, θ_R)$
  • 기존 RM에 LLM의 language modeling head의 파라미터 $θ_{LM}$가 추가됨.
• critique: $\hat{c}\ ∼ p(∗|x, y; θ_B; θ_{LM})$
  - prompt x와 assistant response y를 기반으로 산출한critique
• reward: $\hat{R}\;= r_{θ_B;θ_R} (x, y, \hat{c}\;)$
  
  

Training CLoud reward models

• train과정의 목표: oracle critique(human critique on response)을 self-generated critique으로 바꾸기.

훈련 단계

1. base model&LM head를 oracle critiques를 기반으로 supervised finetuning 진행 → critique 생성
2. 데이터셋 내 oracle critique을 finetuned model이 생성한 critique으로 교체
3. 2에서 교체한 critique으로 reward model을 train

• objectives 정리
  1. $L_{rm}$
  $L_{RM}(θ_B, θ_R, D) = −E(x,y^−,y^+,c^−,c^+)_{∼D} [log(σ(r_{θ_B,θ_R} (x, y^+, c^+) − r_{θ_B,θ_R}(x, y^−, c^−)))]$
  • preferred data(preferred prompt, response, human critique) - rejected data
    
    
  • Cross Entropy 기반의 수식이고 preferred data와 rejected data의 차가 클수록 → loss값이 작아짐.

2. $L_{SFT}$

   $L_{SFT}(\theta_B,\theta_{LM},D) = -\mathbb{E}_{(x,y^{-},y^{+},c^{-},c^{+})\sim D} \Bigl[\sum_{c_t^{-}\in c^{-}}\log p(c_t^{-}\mid\cdots)\Bigr]$
   • supervised finetuning에서는 preferred / rejected data 기반
     loss의 평균을 loss로 가져감
   • $L_{SFT}$를 최소화하는 critique 생성
   • $L_{SFT}$를 최소화하는 base model & LM head 파라미터($$) 없음

3. $L_{CLoud}$

   $L_{CLoud}(θ_B, θ_{LM}, θ_R, D) = L_{RM}(θ_B, θ_R, D) + λ · L_{SFT} (θ_B, θ_{LM}, D)$
   • RM와 SFT의 loss를 합한 게 최종 objective.
   • 하이퍼파라미터 $\lambda$를 통해 supervised finetuning model의 강도 조정.

3. Results

3.1 Setup

Data

training에 사용하기 위해 가공 단계를 거치는데, 흐름은 아래와 같습니다.

1. < merge >

   • UltraFeedback + UltraInteract → Ultra dataset
     • 종류가 다양한 데이터셋 2개를 하나로 합침

2. < replace >

   • chosen & rejected response in Ultra dataset → Llama-3-8B-Instruct가 생성한 responses로 교체 → UltraLlama

3. < label >

   • Llama-3.1-405B-Instruct가 chosen & rejected response에 대해 labeling
     • prompt: ArenaHard의 pairwise judgement prompt 사용

4. < generate oracle critique >

   • Llama-3.1-405B-Instruct가 chosen & rejected responses에 대해 oracle critique 생성
   • critique: response가 query에 대해 얼마나 잘 응답했는지를 평가
   • 여기서 질문! 왜 기존 데이터셋에 있는 critique를 안 쓰고 새로 생성할까?
     글쎄~ 왜일까~요~~?

Evaluation

평가요소는 2가지.
1. pairwise preference classification accuracy
2. Best-of-N(BoN) win rate

3.3 Self-consistency for cloud reward models

RQ3: When is self-consistency useful?

critiques의 수가 증가할 때, 1-2 reasoning steps의 성능이 가장 좋음.
➡️ 왜 critique 수를 늘릴수록 1-2 reasoning steps에서 self-consistency가 좋아질까?

이 질문에 답하기에 앞서 self-consistency가 뭔지 알아보겠습니다.

self-consistency
같은 response에 대해 여러 번 critique을 생성했을 때 나온 점수의 평균을 최종 reward로 산출하는 방법

➡️ 답변의 일관성 의미.

이제 질문에 답해보겠습니다. 흐름을 단계적으로 살펴보겠습니다.

reasoning step이 짧을수록(짧은 추론일수록)
→ 결론 역시 짧아짐
→ 짧은 결론일수록 관점이 한두가지로 수렴
→ 이 상태에서 표본을 늘릴수록
→ 유사한 결론이 반복 언급
→ 결론의 분산이 작아짐(결론의 분포가 좁아짐) & 일관된 예측
→ pairwise acc↑

위 단계적 사고에 따라 reasoning step이 짧을수록 self-consistency가 좋아진다는 점을 알 수 있습니다.

• 흥미로운 점
  • 수학 문제에 대해서도 critique을 적용할 수 있습니다.
  • 일반적으로 수학 문제는 답이 정해져 있으니 critique의 효과가 적을 것이라 생각했는데요, critique 사용이 잘못된 답을 교정하는 것뿐만이 아니라 답안을 더 풍부하게 만드는 효과도 있습니다!
    
    

4. Related work

Critique-based feedback

• 기존에도 Reward model에서 critique을 도입했으나 기존 모델에서는 critique을 단순히 "사용"만 함.
• CLoud에서는 human critique을 기반으로 critique을 "생성"까지 함.

LLM-as-a-Judge

• 기존 LLM-as-a-Judge model

  • 사람이 만든 채점기준표(rubric)를 기반으로 response를 scoring(평가)
  • response 평가(O), response 교정(X)
  • CLoud와 유사점: scoring 전 response에 채점기준표를 적용하는 과정에 chain-of-thought 추론 적용
  • CLoud와 차이점: scalar reward head가 없음

  ➡️ 후속 연구에서는 사람이 만든 채점기준표(rubric)이 critique generation 과정 & scoring 과정에서 모두 쓰일 수 있는 방향을 탐구