논문 리뷰(8) TTRL: Test-Time Reinforcement Learning

문재원·2025년 7월 15일

Paper

목록 보기

8/8

이번에는 TTRL: Test-Time Reinforcement Learning에 대해 리뷰하겠습니다.
(깃허브)
논문 리뷰(7)과 동일하게 self-evolution of LLM을 탐구했으며 groud truth 없이 inference를 진행한다는 게 특징적인 연구입니다.

아직 읽어보진 않았지만, majority voting reward function을 사용한다는 점에서 흥미로워보입니다(՞•֊•՞)

이건 사담인데요! AI쪽 논문을 읽다보면 칭화대에서 publish한 논문이 꽤나 많이 보입니다. 중국의 AI 경쟁력이 어마무시하다는 걸 종종 깨닫습니다..(* •︠ ̯ •︡)

Abstract

본 논문에서는 LLM의 reasoning task에서 explicit label 없이 RL을 이용해 training 함.

이때 challenge: ground truth 없이 추론 과정에서 reward estimation 하는 것.
→ majority voting(과반수 투표제)와 같은 Test-Time Scaling(TTS)에서 사용하는 기법을 통해 효과적으로 reward 산출
→ 본 논문: Test-Time Reinforcement Learning(TTRL) 제안
TTRL의 정의 및 특징
- unlabeled data에 RL 이용해 LLM training
- pre-trained LLM 활용해 self-evolution 가능케 함.
TTRL 실험 요약
- Qwen모델의 pass@1 성능 향상
- TTRL이 maj@n metric만을 보상으로 삼아 학습함.
  - maj@n: 모델이 한 입력(x)에 대해 n개의 후보 답변을 만들고, 그중 다수결로 답을 뽑는 방식
→ 초기 모델의 maj@n 성능(모델이 다수결만으로 낼 수 있는 최대치)를 뛰어넘음
& ground-truth label로 직접 supervised training한 모델의 성능에 근접

6. Conclusion

TTRL

a framework for training LLMs with RL on test data without access to ground-truth labels
- key component
  - majority voting reward function: generate rule-based rewards based on consensus among model predictions(모델 예측 중 가장 많이 나온 y를 reward signal로 한다는 합의에 따라 규칙 기반한 보상을 생성)
TTRL이 기여한 바
- 다양한 모델과 태스크에 TTRL을 적용 가능
- RL에 self-labeled reward를 적용하는 방법의 초석을 다짐.

7. Limitations and Future works

Limitations

사전 지식과 하이퍼파라미터 구성의 영향에 대한 심도있는 분석이 부족

Future works

Theoretical Analysis
Online Learning with Streaming data
- extend TTRL to real-time learning → Test-time adaptation
Lare-Scale Self-supervised RL training
Agentic tasks and scientific discovery

1. Introduction

최근 LRM의 발전 및 한계

최근 Large Reasoning Models such as DeepSeek-R1 and OpenAI's o1 등이 많이 발전함.
그런데 이렇게 발저한 모델들도 복잡하고 라벨링되지 않은 질문에는 답변을 잘 못함.
→ 이런 문제를 해결하기 위한 scaling up training with more data & computational resources 와 같은 해결책이 있으나 이 방법도 높은 성능을 이끌어내지는 못함.
→ 이후 대안으로 "era of experience"로의 전환이 제시됨.(경험을 통해 self-evolve하는 것)

LRM 분야에서의 진보

self-experience & learning: AI 시스템이 unlabeled data에 RL을 이용해 자율적으로 발전
self-evolvement의 두 범주
1. adaptation to test-time data: model이 어려운 벤치마크를 다룰 수 있게 함
2. training on external unlabeled data: labeled corpora 이외에 더 많은 데이터 확보 가능
  → 본 논문에서는 1번 범주를 다룸.

TTRL의 도입

본 논문에서는 RL을 이용해 test time에 모델을 업데이트하고자 한다. 그런데 test time에 RL을 위한 reward를 어떻게 얻을까?
이 질문은 현재 RL의 한계와도 맞물림.
- RL은 labeled data에 의존하기 때문에 이 점이 RL 발전의 장벽이 되고 있음.

➡️ 위와 같은 한계를 해결하기 위해 TTRL 도입

TTRL
- test-time training through RL
- repeated sampling 전략 사용 ← label을 더 정확히 예측하고 보상을 계산하기 위해서
- majority voting rewards를 사용해 ground truth label 없이도 안정적으로 RL 적용
- 한 마디로 정리하면 generate experience, estimate rewards, improve performance
TTRL의 주요내용
1.Majority voting은 효과적인 보상 예측을 제공한다.
1. TTRL can exceed it training signal and upper limit maj@n, and closely mirrors the performance of direct training on the test data with ground-truth.
2. unsupervised 방식을 통해서 효과적이고 안정적인 RL을 이끌어낼 수 있다.

2. Test-Time Reinforcemet Learning(TTRL)

본 논문에서 정의한 task

우리는 ground-truth label 없이 RL을 사용해 test time동안 pre-trained된 모델을 훈련하는 문제를 해결한다. 그리고 이 세팅을 TTRL이라 부른다.

2.1 Methodology

위 구조에 기반한 동작 순서

prompt x에 의해 상태가 주어지면, 모델은 정책 $π_θ (y | x)$ 로부터 샘플된 output $y$ 를 산출한다.
- repeated sampling에 의해 모델이 여러 개의 후보 output인 $\{y_1, y_2, ..., y_N\}$ 을 생성
majority voting에 의해 합의된 output인 $y^*$ 가 도출
환경은 reward $r(y, y*)$ 를 제공
RL objective를 기반으로 policy optimization 수행
- RL objective의 목표: reward 기댓값 최대화 $\max_{\theta}\; \mathbb{E}_{y\sim\pi_{\theta}(\,\cdot\mid x)} \bigl[r(y, y^{*})\bigr]$

parameter $\theta$ update
$θ ← θ + η∇_θE_{y∼π_θ(·|x)}[r(y, y∗)]$
- $\eta$ : learning rate

2.2 Majority Voting Reward function

majority voting이 동작하는 순서

LLM에 질문 x를 입력
LLM이 여러 개의 candidate output을 생성
Answer Extractor가 output에서 predicted answers를 추출
- predicted answers는 집합 P에 저장
  $P = \{\hat{y}_{i}\}_{i=1}^{N}$
scoring function s를 사용해 최종 답변 $y^{*}$ 를 선정
$y^{*} = \underset{y_i}{\arg\max}\; s(y_i, x)$

y( $y^*$ )를 이용해 rule-based rewards 계산 $R(\hat{y}_{i},\, y) = \begin{cases} 1, & \text{if } \hat{y}_{i} = y, \\[4pt] 0, & \text{otherwise.} \end{cases}$

위 1~5까지의 과정을 pseudo-code로 정리하면 아래와 같음.

3. Experiments

3.1 Experimental Setup

model, benchmarks, evaluation setup, baselines로 나뉨.

Model

Qwen family
LLaMA family
Mistral Family
DeepSeek family
others: Skywork-OR1-Math-7B

Benchmarks

GPQA-Diamond
AIME 2024
AMC
MATH-500

Evaluation Setup

main experimens
- pass@k
- pass@1: $pass@1 = \frac{1}{k}\Sigma^{k}_{i=1}p_i$
  - $p_i$ : i번째 응답이 올바른지 나타냄
analysis and additional experiments on Qwen2.5-MATH
- greedy decoding to report pass@1

Baselines

TTRL이 성취를 이뤘는지 판단하기 위해 backbone model과 비교(Test-Time Training에 대한 선행연구가 부족해서)

3.2 Main results

TTRL performs well on most tasks and models

위 2개의 표에서 알 수 있듯이 TTRL을 적용한 모든 모델에서 유의미한 성능 향상을 보임.
TTRL performs well on LRMs

TTRL을 적용한 모델이 시간과 비용 측면에서 소모적인 post-training을 하는 기존 모델들보다도 좋은 성과를 냄.
TTRL naturally scales
모델이 클수록 성능이 더 향상됨.
TTRL generalizes beyond the target task
OOD(Out-Of-Distrubution: 범위 밖 → 타겟 데이터셋 이외 데이터)에도 잘 적용됨 → TTRL이 self-improvement를 잘 수행하고 있다는 증거
- 위 표에서는 AIME/AMC/MATH-500에 TTRL을 적용한 뒤 다른 데이터셋을 기반으로 평가한 결과를 보여줌.
- 벤치마크 데이터셋이 아닌 데이터셋에 평가를 진행했음에도 불구하고 성능 향상이 이루어졌음.
TTRL is compatible with different RL algorithms
- 본 논문에서 사용한 GRPO 외에 PPO, PRIME을 사용했을 때에도 유사한 결과 도출
TTRL achieves sustainable self-evolution through "online" & "RL"
1. 모델의 training dynamics를 연구하기 위해 average(pass@1, avg@16) & majority(maj@16)을 추적
2. TTRL이 maj@16의 비용을 줄인 상황에서 pass@1을 향상시키는지 추적
- 위 표에서 알 수 있듯이 training이 진행될수록 1의 지표가 모두 우상향을 그림.
- 또한 단순히 majority voting에 기반해 뽑았던 label y를 보상으로 활용해 RL을 진행하면서 답변의 질을 높임!