오늘 다룰 논문은 Self-Generated Critiques Boost Reward Modeling
for Language Models입니다.

2025년 4월에 NAACL에 publish된 논문입니다. 앞선 논문 리뷰와 비슷하게 제가 연구하려는 방향성과 유사해서 정리하게 되었습니다.

Abstract

• Reward modeling은 RLHF에서 필수적임.
• critiques와 scalar rewards 산출이 reward model의 성능을 높이며, 여기서 이 논문이 시작됨.
• 해당 논문에서는 Critic-RM을 제시
  • scalar reward에 기반한 선호 예측을 위해 reward model을 train하는데 critique 사용.
  • 2 stages로 구성: 1. generating critiques 2. filtering critiques
    
    

Conclusion

• LLM이 ciritique을 generate & refine하는 능력 활용해 Critic-RM 제시.
• Critic-RM은 critique quality & reward prediction accuracy를 모두 높였다는 점에서 의의.
  
  

1. Introduction

기존 RLHF에서 reward model의 한계 및 해결방안

• RLHF의 메인은 reward model(RM)

  • RM은 policy LLM을 이용해 training동안 최적화 방향 정의.

• 기존 Rewarding 과정의 한계

  • 표준 RM은 preference pairs을 이용해 훈련 -> 각 응답에 대한 single scalar score 산출
  • 이 과정에서 산출된 scalar score은 해석하기 어려움 + LLM의 language modeling 능력도 활용X
    => 문제점: less data-efficient & robustness issues 발생
    

• 이러한 RM의 한계를 극복하고자 critique 도입!

• critique 도입의 장점:

  • 해석 가능성 높임 & 구조화 가능

• critique 도입의 challenge:
  1. Conflicting objectives
  reward model이 산출하는 scalar score과 critique을 합산하는 과정에서 발생하는 충돌 문제
  2. Evaluator limitations
  기존이 LM은 제한적인데 이걸 평가에 사용하는 건 효과적이지 않음.

Introducing Critic-RM

• 위 challenge를 극복하기 위해 Critic-RM 제시

• Critic-RM은 instruction-finetuned LLM을 backbone으로 활용해 score을 가진 candidate critiques를 여러 개 산출.

  good quality를 유지하기 위해 아래 라벨 및 방법 사용
  1. human-annotated preference labels 이용
  2. summarization & ranking*
  

• 앞선 conflicting objectives 문제를 해결하기 위한 방법

  • 모델이 초반에는 critique modeling loss에만 집중 -> 점차 response와 critique을 기반으로 reward를 예측하는 것으로 초점 옮김.

  => RM이 high-quality critique generation & accurate reward prediction 모두 잘하게 됨.

2. Related work

-  (사담)연구 주제를 계속 찾는 중이다보니.. 해당 논문 자체도 중요한데, 해당 논문에 명시된 related work 역시 상당히 중요하다는 것을 알았습니다. 개인적으로는 배경지식을 가져갈 뿐만 아니라 해당 논문이 인사이트를 얻은 부분, 기존의 한계가 적힌 부분이라 중요하다고 생각합니다. 

Reward Models

• 최근의 generative reward modeling의 경우, RM을 critique generation하도록 훈련시키지 않음. teacher model이 critique을 산출할 뿐.
• 본 논문과 유사한 연구의 경우(Zhang et al. (2024); Ankner et al. (2024); Mahan et al. (2024))
  • training을 위해 teacher model이 high-quality critique을 생성하는데만 의존
    -> teacher model이 없는 경우 solution을 제공하지x.
    -> critique의 quality를 향상시키는 데에도 제한적.

LLM-as-a-judge and Critique Models

• LLM이 human evaluation의 대안으로 사용됨.
• off-the-shelf LLMS을 평가에 사용하면 risks of bias + being misled의 위험이 있음.
  -> 최근 연구에서는 high-quality response pairs를 통해 이러한 위험을 해결하고자 함. (LLM 자체에 의존하지 않겠다는 의미인 듯)

Self-alignment Techniques

• Aligning LLMs with human preference 과정에서 human annotation 대신 LLM을 활용.
• 본 논문에서는 LLM이 아닌 human-annotated preference pairs를 reward modeling 훈련에 사용.

3. Methodology

3.1 Preliminaries

• pairwise preferences를 모델링하는 learning objective로, Bradley-Terry model 이용

  $p(y^+ ≻ y^− | x)=\frac{exp (r (x, y^+))} {exp (r (x, y^+)) + exp (r (x, y^−))}$
  
  - x: prompt, y: response, r: reward

• reward model $r_ψ$ 의 loss function

  $ℓ_{rm}(ψ) = −E_{(x,y^+,y^−)∼D} log(σ(r_ψ(x, y^+)− r_ψ(x, y^-))$
  • 일반적인 reward model은 prompt와 response만을 보고 학습함.

• overview of Critic-RM
  

  Critic-RM은 3단계를 거칩니다.

  1. 각 prompt-response pair에 대해 후보 critique 생성
  2. Critique filtering - noisy한 critique을 줄이고, 더 정확한 critique을 증가시킴.
  3. joint training - model에게 critique generation & reward modeling 동시에 훈련시킴.

  위 단계에 대해서는 뒤에서 더 자세히 다뤄보겠습니다!
  

3.2 Critique-augmented Reward Model training

$z^+, z^-$를 각각 chosen/rejected response에 대한 critique이라고 할 때 아래와 같은 수식이 성립한다.

$p^{\ast}(\cdot \mid y, x)$가 critique의 기존 분포라고 할 때, 본 논문에서는 critic generation model인 $g_{\phi}$가 근사 분포인 $q_{\phi}$를 생성하도록 훈련시킵니다.

이때 Jensen's Inequality를 적용하면 아래와 같은 수식이 성립합니다.

3.2.1 Critique-augmented Reward Prediction

• reward model $r_\psi$가 critique와 함께 preference(선호)를 학습하기 위해서
  ➡️ response 뒤에 critique z를 붙여서(augment) [y;z] 형태를 reward model에 입력으로 줌.

• 위의 reward loss function을 사용하면 reward model이 response와 critique에 기반해 reward를 생성하도록 학습시킬 수 있음.

3.2.2 Critique generation & Filtering

1~4단계로 이루어집니다!

1. critique generation

• LLM $M_\theta$를 프롬프팅 → N개의 후보 critique 산출
• 이때 아래 수식에 기반해 LLM-as-a-judge 파이프라인 사용
  $(\tilde{z}_i, s_i)_{i=1}^N \sim g_{\phi}(x,y)$
  • z: 생성된 critique, s: 1~10점까지 매긴 점수

2. Insance-level Critique filtering

• 아래 영역에 해당하는 인스턴스만 남김
  $D_{sub} = \{(x, y^+, y^-)|\tilde{s}(x,y^+)>\tilde{s}(x, y^-)\}$
  • $\tilde{s}(x,y^+) = \Sigma_{i=1}^Ns_i^+/N$
  • $\tilde{s}(x,y^-) = \Sigma_{i=1}^Ns_i^-/N$

3. Quality-aware Critique Refinement

• 2번 단계에서는 prompt와 response 위주로 filtering 했으니 이제는 critique의 질을 개선해보겠습니다.

• refinement는 Summarization-based refinement와 Ranking-based refinement로 나뉩니다.

• Summarization-based refinement

  $Z_{\mathrm{summ}} = \{z_i\}_{i=1}^{K} \sim g_{\phi}\bigl(x,y,\prod_{j=1}^{N}\tilde{z}_j\bigr)$

• Ranking-based refinement

  $Z_{\mathrm{rank}} = \{\,z_i\}_{i=1}^{K} = \mathrm{Top}\text{-}K\!\bigl(\{\tilde{z}_i\}_{i=1}^{N}\bigr)$

4. Final loss for critique generation

• 지금까지 critique을 개선시켜 training set인 $D_{sub}$을 augment 했습니다. 이제 z를 이용해 oracle distribution $p^*$을 근사하는 $q_\phi$를 구해보겠습니다!
  $\mathcal{D}_{\mathrm{sub}} = \bigl\{\,\bigl(x,\,y^{+},\,y^{-},\,Z^{+},\,Z^{-}\bigr)\bigr\}.$
• KL divergence를 이용한 learning objective
  $\begin{aligned} \ell_{c}(Z; x, y) &= D_{\mathrm{KL}}\!\bigl(p^{*}(z \mid y_i, x_i)\,\big\|\,q_{\phi}(z \mid y_i, x_i)\bigr) \\[4pt] &= \mathbb{E}_{z\sim p^{*}(z\mid y_i,x_i)}\bigl[\log p^{*}(z\mid y_i,x_i)-\log q_{\phi}(z\mid y_i,x_i)\bigr] \\[4pt] &= -\tfrac{1}{K}\sum_{z\in Z}\log q_{\phi}(z\mid y,x)\;+\;\mathrm{const.} \end{aligned}$

3.2.3 Joint Learning of Critique generation and reward modeling

• reward modeling loss와 critique generation loss를 한 데 합치려고 합니다.

• 이때 발생하는 문제!!
  

  critique generation을 위해서는 $g_\phi$기 다양한 z로부터 finetuning되면 좋음.
  ↔ reward model $r_\psi$는 1라운드 이상 돌면 오버피팅 이슈.

  ➡️ 두 loss 간 balancing이 필요.

  $\begin{aligned} \mathcal{L}(\phi,\psi) &= \mathbb{E}_{(x,y^{+},y^{-},z^{+},z^{-})\in \mathcal{D}_{\mathrm{sub}}} \Bigl[ \lambda(t)\,\ell_{c}(\phi) + \bigl(1-\lambda(t)\bigr)\,\ell_{r}(\psi) \Bigr], \\[6pt] \lambda(t) &= \begin{cases} 1, & 0 < t < (K-1)T, \\ 1 - \beta\,\dfrac{t - (K-1)T}{T}, & (K-1)T < t < K T. \end{cases} \end{aligned}$
  • T: 1 epoch에서 전체 training steps의 수를 의미.

• 위와 같은 learning objective를 사용함으로써 training 초기에는 critique generation에, 그 이후에는 reward model의 overfitting 완화에 집중할 수 있음.

  
  
  

  ---

  experiment 부분 역시 중요하지만 지금은 논문 양치기를 하고 있어서,, 빠른 시일 내로 experiments까지 다뤄보도록 하겠습니다.