Multimodal Large Language Model에 RLHF를 적용해 기존의 한계점들을 보완한 MM-RLHF에 대해 정리해보겠다.

개인적으로 공부하면서+발표하면서 힘들게 공부한 논문이라 보다 꼼꼼하게 리뷰하고자 한다.
정보량이 많은 논문이니 차근차근 따라오시는 걸 추천드립니다

목차는 다음과 같다. 나는 논문을 읽을 때 Abstract -> Conclustion -> Introduction -> Dataset -> Method... 순으로 읽는 편이라 이 순서대로 리뷰를 전개해보고자 한다.

Abstract
Introduction
MM-RLHF-Dataset
MM-RLHF-Reward Model
MM-DPO
Experiments
Conclusion

Abstract

• Most MLLMs은 alignment with human preferences에 기반한 발전에 어려움을 겪는다.

• 이를 해결하기 위해 이 논문에서는 MM-RLHF, Critique-based reward model, Dynamic reward Scaling을 제안

  • MM-RLHF: a dataset containing 120k fine-grained, human-annotated preference comparison pairs

  • Critique-based reward model: generates ciritques before assigning scores

  • Dynamic Reward Scaling: Adjust the loss weight according to the reward signal

    
    

Conclusion

• MM-RLHF: dataset across diverse dimensions
• Improvements to reward modeling & optimization algorithms
• Future work:
  - leveraging annotation granularity with advanced
  optimization techniques
  - integrating high-resolution data to address limitations in specific benchmark - scaling the dataset

=> 논문의 3개 포인트 정리 및 후속 연구 방향성 제시(MM-RLHF 데이터셋 활용)

논문을 다 정리해야하지만 연구 주제를 빨리 잡기 위해서 우선 RM의 방법론만 정리하고 가겠다.. 빠른 시일 이내로 논문 전체를 정리하는걸로!

MM-RLHF-Reward Model

3.1 Standard Reward Models

query x, 선호하는 응답과 덜 선호하는 응답인 $y_w,y_l$가 주어지면, RM이 더 선호하는 응답에 높은 보상을 부여하도록 최적화한다. 수식은 Cross Entropy 기반이다.

Cross Entropy

$H(p,q) = -logq(y)$

- $q(y)$가 1에 수렴 -> H값이 0에 수렴 -> loss값 작음
- $q(y)$가 0에 수렴 -> H값이 무한대로 발산 -> loss값 큼

위는 아래는 CE의 간단한 개념인데 이걸 기반으로 보면 이 선호하는 응답 $y_w$에 대한 보상과 덜 선호하는 응답 $y_l$에 대한 보상의 차가 클수록 loss값이 작다는 걸 알 수 있다!

이런 stadard reward model의 경우에는 아래와 같은 단점이 있다.

1. They fail to utilize the detailed feedback provided by high-quality human annotations
   사람이 기껏 작성한 주석 피드백을 활용하지 못함
2. Understanding how the reward generated is difficult.
   스칼라 보상이 산출되는 과정을 명확히 이해하기 어려움

=> RM의 reasoning 과정에 critique을 넣자!

3.2 Critique-Based Reward Model Training

Critique-based reward model은 두 가지 구성요소가 있음.

• Critique head($h_l$) : critique 산출
• Scoring head($h_r$) : scalar rewards based on critiques 산출

1. Critique head

수식은 위와 같으며 앞선 CE 기반의 수식이고 산출한 critique이 human annotation에 부합하도록 학습된다.

• human annotation이 너무 간결해서 오히려 학습이 저하되므로 GPT-4o를 이용해 annotation을 증강한다.
  
  
  2. Scoring head

  $ℓ_{Score}(θ) = E{x,y_w,y_l}[− log σ(r(x, y_w, c_w) − r(x, y_l, c_l))]$

• training 과정에서는 학습의 정확도를 위해 위에서 생성한 critique 대신 ground truth critique를 사용한다.
  여기서 말하는 ground truth critique == human annotation

Overall training objective
$ℓ_{total} = ℓ_{Critique}(θ) + ℓ_{Score}(θ)$