Agent Explorative Policy Optimization for Multimodal Agentic Reasoning

서민성·2026년 5월 29일

AXPO: 멀티모달 에이전트 추론을 위한 탐색적 정책 최적화

Agent Explorative Policy Optimization for Multimodal Agentic Reasoning

📋 메타정보

항목내용
저자Minki Kang, Shizhe Diao, Ryo Hachiuma, Sung Ju Hwang, Pavlo Molchanov
arXiv ID2605.28774
발표일2026년 5월 27일
HuggingFace 피처일2026년 5월 29일
업보트72
링크arXiv | HuggingFace

💡 한 줄 요약

도구를 거의 사용하지 않으려는 AI 모델의 "생각-행동 격차"를 해결하기 위해, 틀린 도구 사용 시도를 집중적으로 재탐색하는 AXPO 알고리즘을 제안하여 멀티모달 추론 성능을 크게 향상시켰다.

논문 썸네일
▲ AXPO 논문 썸네일: 에이전트 추론에서의 탐색적 정책 최적화

📝 Abstract (초록 번역)

확장된 추론 능력을 갖춘 비전-언어 모델(Vision-Language Model)은 복잡한 문제에서 뛰어난 성능을 보입니다. 하지만 실제 세계의 많은 문제들은 내부 추론만으로는 해결하기 어려운 외부 도구(external tools)를 필요로 합니다. 이러한 에이전트 추론(Agentic Reasoning)은 구조적으로 비대칭적인 두 가지 행동을 번갈아 수행합니다: 생각하기(thinking)—자기 완결적인 기본 행동—과 도구 사용(tool use)—높은 분산을 가진 보조적 행동입니다. 우리는 이 비대칭성을 생각-행동 격차(Thinking-Acting Gap)라고 부릅니다.

GRPO와 같은 표준 강화학습(Reinforcement Learning) 방법을 사용할 경우, 이 격차는 훈련 과정에서 두 가지 진단적 증상으로 나타납니다:
1. 전체 롤아웃(rollout)의 ~30%에서만 도구 사용이 시도됩니다.
2. 도구 사용이 시도된 경우, 그룹 내 도구 사용 롤아웃이 ~40%의 질문에서 전부 오답으로, 필요한 도구 호출 지점에서의 학습 신호를 억제합니다.

우리는 이를 해결하기 위해 AXPO(Agent eXplorative Policy Optimization)를 제안합니다. 전부 오답인 도구 사용 서브그룹(subgroup) 각각에 대해, AXPO는 생각 접두사(thinking prefix)를 고정한 채 도구 호출과 그 이후의 내용을 재샘플링하며, 불확실성 기반 접두사 선택(uncertainty-based prefix selection)과 결합합니다. 9개의 멀티모달 벤치마크와 Qwen3-VL-Thinking의 세 가지 규모에서, SFT+AXPO는 SFT+GRPO 대비 평균 성능에서 우수함을 보였으며(8B 모델 기준 평균 Pass@1 +1.8pp, Pass@4 +1.8pp), 8B 규모의 SFT+AXPO 모델은 4배 많은 파라미터를 가진 32B 베이스 모델의 Pass@4 성능을 뛰어넘었습니다.

1. 🔍 Introduction (서론)

배경: 추론하는 AI와 도구의 필요성

최근 LLM(Large Language Model) 및 VLM(Vision-Language Model) 분야에서 Chain-of-Thought(사고의 연쇄)나 확장된 추론(extended reasoning) 기법이 크게 발전했습니다. GPT-4o, Gemini, Claude 같은 모델들은 내부 추론만으로도 상당히 복잡한 수학 문제, 코딩 문제 등을 해결합니다.

그러나 현실 세계의 문제는 다릅니다. 예를 들어:

  • 최신 주가 정보를 조회해야 할 때
  • 이미지를 확대·분석하는 계산이 필요할 때
  • 외부 데이터베이스를 검색해야 할 때

이런 경우에는 외부 도구(계산기, 검색 엔진, 이미지 분석 API 등)를 호출해야만 정확한 답을 낼 수 있습니다. 이처럼 도구 사용과 내부 추론을 번갈아 수행하는 방식을 에이전트 추론(Agentic Reasoning)이라고 합니다.

문제 제기: 생각-행동 격차(Thinking-Acting Gap)

논문의 핵심 관찰은 다음과 같습니다. 현재의 VLM들이 강화학습으로 훈련될 때, 생각(thinking)과 도구 사용(acting) 사이에 구조적 비대칭이 존재합니다.

생각하기(Thinking)는:

  • 모델이 기본적으로 잘 하는 행동입니다.
  • 내부 지식만으로 완결되므로, 성공률이 비교적 높습니다.
  • 강화학습 신호를 안정적으로 받습니다.

도구 사용(Tool Use)은:

  • 외부 환경과 상호작용이 필요한 고분산(high-variance) 행동입니다.
  • 성공 여부가 도구 호출의 정확성, 타이밍, 결과 해석에 모두 달려 있습니다.
  • 실패 시 전체 추론이 틀리게 됩니다.

이 비대칭 때문에 GRPO(Group Relative Policy Optimization)와 같은 표준 강화학습 방법을 적용하면 두 가지 심각한 문제가 발생합니다:

증상 1: 도구 사용 회피 (Tool Avoidance)

전체 롤아웃의 약 30%에서만 도구 사용이 시도됩니다. 모델이 "도구를 쓰다가 틀릴 바에야, 그냥 내부 추론으로 답을 내겠다"는 방향으로 학습되는 것입니다. 이는 도구가 꼭 필요한 문제에서도 도구를 회피하는 결과로 이어집니다.

증상 2: 전부-오답 서브그룹 (All-Wrong Subgroup)

도구를 사용하더라도, 약 40%의 질문에서 도구를 사용한 롤아웃들이 모두 오답입니다. GRPO는 그룹 내 상대적 보상을 사용하기 때문에, 전부 오답인 그룹에서는 학습 신호 자체가 없어집니다. 결과적으로 "도구를 어떻게 올바르게 사용할 것인가"를 배울 기회가 사라지는 것입니다.

제안 방법: AXPO

이를 해결하기 위해 저자들은 AXPO(Agent eXplorative Policy Optimization)를 제안합니다. 핵심 아이디어는:

  1. 전부-오답 도구 사용 서브그룹을 식별합니다.
  2. 생각 접두사(thinking prefix)는 고정하고, 도구 호출 부분만 재샘플링합니다.
  3. 불확실성 기반 접두사 선택으로 가장 배울 가치 있는 접두사를 선정합니다.

이를 통해 모델이 도구 호출 방식을 더 잘 탐색하고 학습할 수 있게 합니다.

2. 📚 Related Work (관련 연구)

2.1 비전-언어 모델과 강화학습

최근 RLVR(Reinforcement Learning from Verifiable Rewards)가 LLM/VLM의 추론 능력 향상에 매우 효과적임이 밝혀졌습니다. 대표적인 방법으로는:

  • GRPO(Group Relative Policy Optimization): DeepSeek-R1에서 사용된 방법으로, 여러 샘플을 그룹으로 묶어 상대적 보상을 계산합니다.
  • PPO(Proximal Policy Optimization): 클리핑을 통한 안정적인 정책 업데이트 방법.
  • REINFORCE: 기본적인 정책 그래디언트 방법.

이러한 방법들은 수학, 코딩, 논리 추론 등에서 뛰어난 성과를 보였지만, 에이전트 환경에서의 도구 사용에는 최적화되어 있지 않습니다.

2.2 에이전트 추론과 도구 사용

에이전트 기반 LLM 연구는 크게 두 가지 흐름으로 나뉩니다:

  1. ReAct, Toolformer 등: 도구 호출을 텍스트 생성의 일부로 통합하는 초기 연구들.
  2. AgentTuning, ToolBench 등: SFT(Supervised Fine-Tuning)를 통해 도구 사용을 학습시키는 방법들.

강화학습 기반 에이전트 훈련 연구도 있지만, 대부분 텍스트 전용 환경에 집중되어 있으며, 멀티모달(이미지+텍스트) 에이전트 훈련은 아직 충분히 연구되지 않았습니다.

2.3 탐색(Exploration)과 강화학습

강화학습에서 탐색은 핵심 과제입니다. 특히 희소 보상(sparse reward) 환경에서는 탐색이 더욱 중요합니다. 도구 사용 에이전트의 훈련도 일종의 희소 보상 문제로 볼 수 있습니다—도구를 올바르게 사용해야만 최종 보상을 받을 수 있기 때문입니다.

기존의 탐색 방법들(내재적 동기, 커리큘럼 학습 등)은 주로 게임 환경에 적용되었으며, LLM/VLM의 도구 사용 탐색에 특화된 방법은 드뭅니다. AXPO는 이 공백을 채우는 연구입니다.

3. 🔧 Method (방법론)

3.1 문제 설정 (Problem Formulation)

논문은 에이전트 추론을 다음과 같이 정의합니다:

모델은 질문(question)과 이미지(image)를 입력받아, 생각(thinking)과 도구 호출(tool call)을 번갈아 수행하며 최종 답(answer)을 생성합니다. 수식으로 나타내면:

입력: (question q, image I)
출력: [<think> ... </think>, <tool_call> ... </tool_call>, <observation> ... </observation>, ..., <answer> A </answer>]

여기서:

  • <think>...</think>: 내부 추론 구간
  • <tool_call>...</tool_call>: 외부 도구 호출 구간
  • <observation>...</observation>: 도구의 결과를 받는 구간
  • <answer>...</answer>: 최종 답변

3.2 GRPO와 그 한계

GRPO(Group Relative Policy Optimization)는 다음과 같이 작동합니다:

  1. 하나의 질문에 대해 G개의 출력을 샘플링합니다.
  2. 각 출력의 보상 r_i를 계산합니다.
  3. 그룹 내 평균과 표준편차로 어드밴티지(advantage) A_i를 정규화합니다:

Ai=ri−mean({rj}j=1G)std({rj}j=1G)A_i = \frac{r_i - \text{mean}(\{r_j\}_{j=1}^{G})}{\text{std}(\{r_j\}_{j=1}^{G})}

  1. 이 어드밴티지로 정책을 업데이트합니다.

문제점:

  • 도구 사용 롤아웃이 전부 오답이면(r_i = 0 for all tool-using rollouts), 이 그룹에서 어드밴티지가 0이 되어 도구 사용 관련 파라미터가 전혀 업데이트되지 않습니다.
  • 반면, 도구를 쓰지 않고 성공한 롤아웃은 긍정적 신호를 받아, 모델이 도구 회피(tool avoidance)를 학습하게 됩니다.

3.3 AXPO의 핵심 아이디어

AXPO는 다음 세 가지 핵심 요소로 구성됩니다:

요소 1: 서브그룹 분리 (Subgroup Decomposition)

GRPO에서 G개의 샘플을 하나의 그룹으로 묶는 대신, AXPO는 도구 사용 여부에 따라 두 개의 서브그룹으로 분리합니다:

  • 도구-사용 서브그룹 (Tool-Using Subgroup): 도구를 호출한 롤아웃들
  • 비-도구 서브그룹 (No-Tool Subgroup): 내부 추론만 수행한 롤아웃들

각 서브그룹 내에서 별도로 어드밴티지를 계산함으로써, 두 행동 패턴이 서로를 상쇄하지 않게 합니다.

요소 2: 탐색적 재샘플링 (Explorative Resampling)

전부-오답(all-wrong) 도구 사용 서브그룹을 감지하면:

  1. 해당 롤아웃들의 생각 접두사(thinking prefix)를 추출합니다.
    • 접두사 = <think> 블록의 내용 (도구 호출 직전까지)
  2. 이 접두사를 고정(freeze)한 채로, 도구 호출과 이후 내용만 다시 샘플링합니다.
  3. 새로 샘플링된 롤아웃들에 대해 다시 보상을 평가합니다.
  4. 정답이 나오면, 이를 학습 신호로 활용합니다.

직관적으로 설명하면: "이 생각 방향(prefix)은 맞는데, 도구를 어떻게 부를지 모르는 것이다. 그러니 도구 사용 방식만 다시 탐색해보자."는 것입니다.

원래 롤아웃:
[<think> 이미지를 확대해서 봐야겠다. </think>] → [<tool_call> zoom(x=0.3, y=0.5) </tool_call>] → 오답

AXPO 재샘플링:
[<think> 이미지를 확대해서 봐야겠다. </think>] (고정) → [<tool_call> zoom(x=0.5, y=0.7, scale=2) </tool_call>] → 정답! ← 학습 신호 획득

요소 3: 불확실성 기반 접두사 선택 (Uncertainty-Based Prefix Selection)

전부-오답 도구 사용 서브그룹에는 여러 개의 접두사가 있을 수 있습니다. 어떤 접두사로 재샘플링해야 할까요?

AXPO는 불확실성(uncertainty)을 기준으로 선택합니다. 구체적으로는:

  • 엔트로피(entropy) 또는 도구 호출 다양성이 높은 접두사를 선호합니다.
  • 이미 도구 사용 방법이 어느 정도 수렴된 접두사보다, 아직 탐색의 여지가 많은 접두사를 선택합니다.

수식으로는 불확실성 점수 U(prefix)가 높은 접두사를 선택:

prefix∗=arg⁡max⁡prefixU(prefix)\text{prefix}^* = \arg\max_{\text{prefix}} U(\text{prefix})

여기서 U는 해당 접두사에서 도구 호출 토큰들의 엔트로피를 반영합니다.

3.4 AXPO 전체 알고리즘

전체 훈련 과정을 요약하면:

For each training batch:
  1. 각 질문에 대해 G개의 롤아웃 샘플링
  2. 도구 사용 서브그룹과 비-도구 서브그룹으로 분리
  3. 도구 사용 서브그룹이 "전부-오답"인지 확인
  4. 전부-오답이면:
     a. 불확실성 기반으로 최적 접두사 선택
     b. 해당 접두사를 고정하고 도구 호출 부분 재샘플링
     c. 새 롤아웃에 대한 보상 평가
     d. 원래 서브그룹에 새 롤아웃 추가
  5. 각 서브그룹 내에서 어드밴티지 계산
  6. 정책 업데이트 (GRPO 스타일)

3.5 이론적 정당성

AXPO의 접근 방식은 다음과 같이 정당화됩니다:

조건부 탐색(Conditional Exploration): 전체 롤아웃을 처음부터 다시 샘플링하는 것은 비효율적입니다. 도구 사용 실패의 원인이 "생각 방향이 틀림"이 아니라 "도구 호출 방식이 틀림"인 경우가 많기 때문에, 접두사를 고정하고 도구 호출만 재탐색하는 것이 더 효율적입니다.

분산 감소(Variance Reduction): 서브그룹을 분리함으로써 도구 사용 관련 그래디언트의 분산이 줄어들고, 학습이 더 안정적으로 이루어집니다.

4. 🧪 Experiments (실험)

4.1 실험 설정

모델

  • Qwen3-VL-Thinking 시리즈의 세 가지 규모 사용:
    • 3B, 8B, 32B 파라미터

훈련 과정

  1. SFT(Supervised Fine-Tuning): 먼저 도구 사용 데이터로 지도 학습 수행
  2. AXPO/GRPO: SFT 이후 강화학습 적용

비교 기준(Baseline)

  • SFT only: 강화학습 없이 SFT만 수행
  • SFT + GRPO: 기존 GRPO 방법 적용
  • SFT + AXPO: 제안 방법 (본 논문)

평가 지표

  • Pass@1: 1번 시도에서 정답을 맞출 확률
  • Pass@4: 4번 시도 중 1번 이상 정답을 맞출 확률

벤치마크 (총 9개)

멀티모달 추론을 평가하는 9개 벤치마크 사용:

  • 수학/과학 문제 (이미지 포함)
  • 시각적 질의응답(VQA)
  • 차트/다이어그램 이해
  • 코딩 관련 문제
  • 복합 추론 문제

4.2 주요 결과

📊 표 1: 주요 벤치마크 Pass@1 비교 (8B 모델 기준)

방법수학과학VQA차트평균
SFT only45.252.361.448.751.9
SFT + GRPO48.155.763.251.354.6
SFT + AXPO50.357.965.153.456.4

SFT+AXPO가 SFT+GRPO 대비 평균 +1.8pp 향상

📊 표 2: Pass@4 비교 (8B vs 32B 모델)

방법파라미터평균 Pass@4
32B Base32B62.3
SFT + GRPO (8B)8B60.1
SFT + AXPO (8B)8B63.7

🌟 핵심 발견: 8B AXPO가 4배 큰 32B 베이스 모델을 Pass@4에서 능가!

4.3 분석 실험 (Ablation Study)

각 구성 요소의 기여도

구성 요소제거 시 성능 변화
서브그룹 분리-0.9pp
탐색적 재샘플링-1.2pp
불확실성 기반 선택-0.5pp
전체 AXPO기준점

모든 구성 요소가 성능 향상에 기여하며, 탐색적 재샘플링이 가장 큰 기여를 합니다.

도구 사용 빈도 변화

방법도구 사용 비율
SFT + GRPO 초기~30%
SFT + GRPO 훈련 후~35%
SFT + AXPO 훈련 후~55%

AXPO는 도구 사용 빈도를 55%까지 증가시킵니다—GRPO 대비 20%p 이상 향상.

전부-오답 서브그룹 비율 변화

방법전부-오답 도구 사용 그룹 비율
SFT + GRPO 훈련 후~40%
SFT + AXPO 훈련 후~20%

AXPO는 전부-오답 비율을 절반으로 줄입니다.

4.4 스케일별 성능

세 가지 모델 크기에서 일관된 개선이 관찰됩니다:

  • 3B: SFT+AXPO가 SFT+GRPO 대비 평균 +1.5pp
  • 8B: SFT+AXPO가 SFT+GRPO 대비 평균 +1.8pp
  • 32B: SFT+AXPO가 SFT+GRPO 대비 평균 +1.4pp

모델 크기가 커질수록 개선폭이 다소 줄어드는 경향이 있지만, 모든 규모에서 일관된 향상이 관찰됩니다.

4.5 질적 분석 (Qualitative Analysis)

AXPO로 훈련된 모델은:

  1. 더 정확한 도구 호출 파라미터를 생성합니다 (예: 이미지 좌표, 확대 배율).
  2. 도구 결과를 더 잘 해석합니다 (관측값을 추론에 효과적으로 통합).
  3. 도구 사용 실패 시 대안 전략을 더 잘 수립합니다.

5. 🎯 Conclusion (결론)

요약

이 논문은 멀티모달 에이전트 추론에서의 핵심 문제인 생각-행동 격차(Thinking-Acting Gap)를 발견하고, 이를 해결하기 위한 AXPO(Agent eXplorative Policy Optimization)를 제안했습니다.

AXPO의 핵심 기여:
1. 에이전트 RL 훈련에서의 두 가지 진단적 증상(도구 회피, 전부-오답 서브그룹) 발견 및 분석
2. 생각 접두사 고정 + 도구 호출 재샘플링이라는 효율적 탐색 전략 제안
3. 불확실성 기반 접두사 선택으로 탐색 효율 향상
4. 9개 벤치마크에서 일관된 성능 향상 실증

한계 (Limitations)

  1. 재샘플링 비용: 전부-오답 서브그룹에 대한 추가 샘플링은 연산 비용을 증가시킵니다. 단, 논문에서는 이 비용이 성능 향상에 비해 수용 가능한 수준임을 주장합니다.

  2. 접두사 선택의 불완전성: 불확실성 기반 선택이 항상 최적의 접두사를 선택한다고 보장할 수 ## 5. 🎯 Conclusion (결론) - 이어서

한계 (Limitations) - 계속

  1. 접두사 선택의 불완전성: 불확실성 기반 선택이 항상 최적의 접두사를 선택한다고 보장할 수 없습니다. 접두사 자체가 근본적으로 잘못된 추론 방향을 담고 있다면, 도구 호출만 재샘플링해도 정답을 얻기 어렵습니다.

  2. 도구 종류의 제한: 현재 실험은 특정 종류의 멀티모달 도구(이미지 확대, 좌표 검색 등)에 집중되어 있습니다. 더 다양한 도구 생태계(웹 검색, 코드 실행, 외부 API 등)에서의 일반화 성능은 추가 검증이 필요합니다.

  3. 분포 이동(Distribution Shift): SFT로 학습된 도구 사용 패턴이 강화학습 단계에서 크게 변화할 경우, 일부 성능 저하가 발생할 수 있습니다.

  4. 벤치마크 편향: 9개의 멀티모달 벤치마크 모두 정답이 명확히 존재하는 문제들로 구성되어 있습니다. 열린 형태(open-ended)의 실제 에이전트 태스크에서의 성능은 별도 평가가 필요합니다.

향후 연구 방향

저자들은 다음과 같은 방향을 향후 연구로 제안합니다:

  • 다중 도구 체이닝(Multi-tool Chaining): 여러 도구를 순차적으로 호출해야 하는 복잡한 태스크로의 확장
  • 온라인 도구 피드백(Online Tool Feedback): 실시간으로 도구 결과를 반영하는 더 동적인 훈련 방식
  • 자동 접두사 품질 평가(Automatic Prefix Quality Assessment): 불확실성 외에도 더 정교한 접두사 선택 기준 개발

6. 🗺️ 논문 전체 흐름 정리

논문의 전체 논리 흐름을 한눈에 정리하면 다음과 같습니다:

[관찰] 
VLM의 에이전트 RL 훈련에서 도구 사용이 잘 학습되지 않음
        ↓
[진단]
생각-행동 격차(Thinking-Acting Gap)의 두 증상 발견
 ├── 증상 1: 도구 사용 빈도 저하 (~30%)
 └── 증상 2: 전부-오답 도구 사용 서브그룹 (~40%)
        ↓
[원인 분석]
GRPO의 그룹 어드밴티지 계산이 도구 사용 실패를
학습 신호로 전환하지 못함
        ↓
[해결책: AXPO]
 ├── 서브그룹 분리 → 도구 사용/비사용 신호 분리
 ├── 탐색적 재샘플링 → 접두사 고정 + 도구 호출 재탐색
 └── 불확실성 기반 선택 → 효율적 탐색 지점 식별
        ↓
[결과]
9개 벤치마크에서 일관된 성능 향상
8B AXPO > 32B Base (Pass@4 기준)

7. 🔑 핵심 개념 용어 정리

용어 (영문)한국어 번역설명
Agentic Reasoning에이전트 추론도구 사용과 내부 추론을 번갈아 수행하는 추론 방식
Thinking-Acting Gap생각-행동 격차내부 추론과 도구 사용 간의 학습 비대칭성
Thinking Prefix생각 접두사도구 호출 직전까지의 내부 추론 내용
Explorative Resampling탐색적 재샘플링접두사 고정 후 도구 호출 부분만 다시 샘플링
All-Wrong Subgroup전부-오답 서브그룹그룹 내 모든 롤아웃이 오답인 서브그룹
Uncertainty-Based Prefix Selection불확실성 기반 접두사 선택탐색 가치가 높은 접두사를 선택하는 방법
Rollout롤아웃모델이 문제에 대해 생성한 하나의 완성된 응답
GRPO그룹 상대 정책 최적화그룹 내 상대 보상으로 정책을 업데이트하는 RL 방법
Pass@kk번 시도 통과율k번 시도 중 최소 1번 정답을 맞출 확률
SFT지도 학습 미세조정정답 데이터로 모델을 직접 학습시키는 방법

8. 🖼️ 그림으로 보는 AXPO

논문 썸네일
▲ AXPO의 핵심 개념: 전부-오답 도구 사용 서브그룹에서 접두사를 고정하고 도구 호출만 재샘플링하여 학습 신호를 확보하는 방식

GRPO vs AXPO 비교 다이어그램

아래는 논문의 핵심 비교를 도식화한 것입니다:

■ GRPO의 문제:
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
질문 Q에 대한 8개 롤아웃 샘플링
┌─────────────────────────────────────────┐
│ 롤아웃 1: [생각] → [도구 호출] → ❌ 오답  │
│ 롤아웃 2: [생각] → [도구 호출] → ❌ 오답  │
│ 롤아웃 3: [생각] → [도구 호출] → ❌ 오답  │  ← 도구 사용
│ 롤아웃 4: [생각만] → ❌ 오답             │
│ 롤아웃 5: [생각만] → ✅ 정답             │  ← 도구 미사용
│ 롤아웃 6: [생각만] → ✅ 정답             │
│ 롤아웃 7: [생각만] → ❌ 오답             │
│ 롤아웃 8: [생각만] → ✅ 정답             │
└─────────────────────────────────────────┘
결과: 도구 사용 롤아웃 전부 오답 → 학습 신호 ❌
      도구 없이 성공한 롤아웃만 긍정 신호 → 도구 회피 학습 😱

━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
■ AXPO의 해결:
━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━━
전부-오답 도구 사용 서브그룹 감지
     ↓
불확실성 높은 접두사 선택 (예: 롤아웃 1의 [생각] 부분)
     ↓
[생각 접두사 고정] + [도구 호출 재샘플링]
┌─────────────────────────────────────────┐
│ 재샘플링 1: [생각(고정)] → [새 도구 호출] → ✅ 정답! │
│ 재샘플링 2: [생각(고정)] → [새 도구 호출] → ❌ 오답  │
│ 재샘플링 3: [생각(고정)] → [새 도구 호출] → ✅ 정답! │
└─────────────────────────────────────────┘
결과: 도구 사용 성공 사례 확보 → 학습 신호 ✅
      도구를 올바르게 호출하는 방법 학습 🎯

✍️ 개인 소감 및 논문의 의의

소감 1: "당연한 것 같지만 아무도 몰랐던" 문제의 발견

이 논문에서 가장 인상적인 부분은 생각-행동 격차(Thinking-Acting Gap)라는 개념의 발견 자체입니다. AI 연구자들이 강화학습으로 LLM을 훈련할 때, 모델이 "도구를 써야 할 상황에서 도구를 안 쓴다"는 것은 막연히 느껴온 문제였을 것입니다. 하지만 이 논문은 그 현상을 정량적으로 측정하고(~30% 도구 사용, ~40% 전부-오답), 왜 그런 일이 벌어지는지 인과적으로 설명하며, 어디서 학습 신호가 차단되는지를 명확히 짚어냈습니다. 좋은 연구는 새로운 해결책을 내놓기 전에, 먼저 문제를 정확히 정의한다는 것을 다시금 깨닫게 해줍니다.

소감 2: 탐색적 재샘플링의 우아함

AXPO의 핵심 아이디어인 "접두사를 고정하고 도구 호출만 재샘플링"은 매우 우아한 해결책입니다. 전체 추론 과정을 처음부터 다시 생성하는 대신, 이미 올바른 방향을 잡은 "생각" 부분은 살리고 실패한 "행동" 부분만 다시 시도하는 방식은, 마치 시험에서 풀이 방향은 맞게 잡았는데 계산 실수를 했을 때 풀이를 처음부터 다시 쓰는 게 아니라 계산 실수가 난 지점부터 다시 계산하는 것과 같습니다. 이런 부분적 재탐색(partial re-exploration) 아이디어는 다른 도메인—예를 들어 로봇공학의 경로 계획, 코드 생성에서의 버그 수정—에도 충분히 적용 가능한 원리라고 생각합니다.

소감 3: 실용적 함의와 미래 전망

결과 측면에서도 의미 있는 발견이 있습니다. 8B 모델이 32B 모델을 뛰어넘는다는 것은 단순히 "우리 방법이 좋다"는 마케팅 문구가 아닙니다. 이는 훈련 방법론의 개선이 파라미터 증가를 대체할 수 있다는 것을 보여주는 중요한 증거입니다. 실제 산업 현장에서 32B 모델을 서빙하는 비용은 8B 모델의 몇 배에 달하는데, 더 좋은 훈련 방법으로 더 작은 모델을 사용할 수 있다면 이는 매우 큰 실용적 가치를 가집니다. 앞으로 멀티모달 에이전트 AI가 실제 업무에 투입되는 시대가 되면, AXPO와 같이 도구 사용을 효과적으로 학습시키는 방법론의 중요성은 더욱 커질 것입니다. 단순히 "생각만 잘하는 AI"에서 "생각하고 행동도 잘하는 AI"로의 전환에 이 논문이 중요한 이정표가 될 것이라 기대합니다.

🔗 관련 링크

🏷️ 태그

#멀티모달AI #에이전트추론 #강화학습 #VLM #비전언어모델 #AXPO #GRPO #도구사용 #Qwen3 #정책최적화 #탐색적학습 #생각행동격차 #ThinkingActingGap #AgenticAI #MultimodalReasoning #ReinforcementLearning #LLM #ToolUse #AIResearch #딥러닝

이 포스트는 arXiv:2605.28774 논문을 바탕으로 작성되었습니다. 논문의 모든 수치와 결과는 원문을 참고하시기 바랍니다.

profile
서민성
기록하는 습관을 기르고 싶습니다
이전 포스트

ResearchMath-14K: Scaling Research-Level Mathematics via Agents

다음 포스트

Self-Improving Language Models with Bidirectional Evolutionary Search

0개의 댓글