Title : VLAW: Iterative Co-Improvement of Vision-Language-Action Policy
and World Model(Arxiv 2026)
논문 링크 : https://openreview.net/pdf?id=Ro0eQ0ly3q
blog: https://sites.google.com/view/vla-w

1. Introduction

• VLA모델의 발전
  • 최근 VLA모델들은 대규모 데이터를 학습함으로써 로봇 조작 작업에서 큰 성공을 거둠
  • VLA모델은 Online interaction rollout을 통한 사후 학습을 통해 성능을 크게 향상시킬 수 있음.
  • 하지만 실제 환경에서 online rollout 데이터를 수집하려면 환경 재설정, 실행 모니터링 등 막대한 인간의 노동력이 필요하며, 이는 비용이 많이 들고 시간 소모가 큼.
  • 즉, online 데이터의 양이 제한되어 Post-training의 효과와 확장성이 제약됨
• World Model의 대안과 문제점
  • 실제 rollout대신 액션 조건부(action-conditioned) 월드 모델을 학습시켜 '상상(imagination)'속에서 합성 rollout을 생성하는 방법이 유망한 대안으로 꼽힘
  • 그러나 기존 world model들은 policy 개선에 필요한 수준의 물리적 정밀도가 부족함.
  • 또한, 이 모델들은 주로 성공적인 데모 데이터로만 학습되어 다양한 물리적 상호작용, 특히 실패 사례에 대한 커버리지가 부족하며 '낙관적 편향(overly optimistic)'을 보이는 경향이 있음.
  • 특히 접촉이 잦은 조작이나 변형 가능한 물체(deformable objects)가 포함된 복잡한 작업에서 미세하지만 중요한 물리적 디테일을 정확한 모델링하는 데 어려움을 겪음.
• VLAW의 Idea 및 Contribution
  • 본 논문은 World Model Rollout을 통해 VLA모델을 반복적으로 개선하는 간단하고 확장 가능한 프레임워크인 VLAW를 제안
  • Physical Grounding: 먼저 failure episode를 포함한 실제 online rollout data로 world model을 fine-tune하여, success와 failure episode모두 정확하게 모델링할 수 있는 물리적으로 접지된 모델을 학습
  • 개선된 world model을 사용하여 대규모의 고충실도 합성 궤적(high-fidelity synthetic trajectories)을 생성하고 이를 vision-language reward model(roboreward)로 자동 주석 처리
  • 복잡한 정책 그래디언트 대신, 대규모 모델에 쉽게 적용할 수 있는 안정적인 SFT를 사용하여 정책을 최적화
  • 실험을 통해 기본 baseline 대비 39.2%의 성공률 향상 및 합성 데이터 학습만으로 11.6%의 성능 개선을 확인함.

2. Preliminaries

• Problem Setting

  • 각 task의 language instruction $I$로 구성되며, MDP인 $\mathcal{M}_{I}=(\mathcal{S},\mathcal{A},P,R_{I},\gamma)$로 모델링됨,
  • $\mathcal{S},\mathcal{A}$: 각각 State space, Action space을 나타냄.
  • $P$: 전이 확률(Transition dynamics)을 의미함.
  • $R_I$: task에 따른 reward
  • $\gamma$: 할인율(Discount factor)를 의미

• 모델 구성 요소

  • VLA 정책($\pi_{\theta}$): 현재 state(observation)과 Instruction을 입력받아 action 분포 $a_{t}\sim\pi_{\theta}(\cdot|s_{t},I)$ 를 생성
  • Action-conditioned World Model($M_{\phi}$): 현재 state와 action을 조건으로 다음 state를 예측 $\hat{s}_{t+1}\sim M_{\phi}(\cdot|s_{t},a_{t})$

• 데이터 수집 및 분포

  • 실제 데이터 수집: 정책은 실제 환경에서 online rollout을 수행하여 trajectory $\tau_{real}^{i}={s_{0},a_{0},...,a_{T-1},s_{T}}$을 수집할 수 있음.
  • reward labeling: 각 trajectory는 success 또는 failure를 나타내는 작업 수준의 보상 $r_{i}$를 할당받음.
  • 즉, Online Interaction을 통해 정책을 반복적으로 개선하여 모든 task에서 높은 성능을 발휘하도록 만드는 것

• World Model 생성 trajectory

  • 실제 환경뿐만 아니라, world model 내부에서도 정책을 실행할 수 있음.
  • Closed-Loop Interaction: 실제 trajectory에서 sampling된 initial state $s_{0}$에서 시작하여, 정책이 action을 생성하고 world model이 다음 state를 예측하는 과정을 반복
  • 가상 trajectory 생성: 이 과정을 통해 Auto-regressive 방식으로 완전한 Imagined trajectory $\tau_{syn}^{j}={s_{0},a_{0}, \hat{s}{1}, a{1}, ..., a_{T-1}, \hat{s}_{T}}$을 생성

4. Co-Improvement of VLA and World Model

4.1 World Model Learning

• 기존 World Model의 고질적 문제인 낙관적 편향(성공만 예측) 과 낮은 물리적 충실도를 해결하는 단계
• 실제 데이터 수집($\mathcal{D}_{real}$): 정책 $\pi_{\theta}$를 실제 환경에서 실행하여 $K$개의 trajectory를 수집함. 이때 로봇을 리셋할 때마다 성공/실패 여부를 희소 보상($\tau_{r} \in {0,1}$)로 기록
• Object function: Pre-trained된 Ctrl-World(ICLR2026) 모델을 초기 weight로 사용하며, Diffusion Object Function을 통해 Fine tune함.
• Co-training: 소량의 Online data에 overfiting되는 것을 막기 위해 기존의 Large-Scale DROID Dataset($\mathcal{D}_{DROID}$)을 함께 학습
  • Loss function $L = L_{\mathcal{D}_{real}} + \lambda L_{\mathcal{D}_{DROID}}$
• reward model fine tune: Qwen3-VL-4B를 이용하여 성공 여부를 판단, Zero-Shot 성능의 한계를 극복하기 위해, 첫 번째 반복에서 수집된 실제 라벨로 VLM을 fine tune하여 정확도를 높임.

4.2 Iterative Policy Improvement

• 학습된 World Model을 일종의 Low-cost Simulator로 활용하여 정책을 강화
  • 합성 데이터 생성($\mathcal{D}_{syn}$): World Model 내부에서 정책을 실행(상상)하여 N개의 대규모 합성 trajectory를 생성.
  • Success Episode 필터링($\mathcal{D}_{syn}^+$): 앞서 fine tuning된 reward model을 적용하여 Success로 판명된 Episode(trajectory)만 필터링함.
    • 확률 임계값($\alpha$) 적용: 단순히 'yes/no' 답변을 받는 대신, 'yes'토큰의 확률이 일정 수준(0.8)을 넘을 때만 성공으로 간주하여 보수적이고 신뢰할 수 있는 데이터만 남김.
  • 정책 업데이트 : 실제 성공 trajectory($\mathcal{D}^+_{real}$)과 합성 성공 trajectory($\mathcal{D}_{syn}^+$)을 합쳐 Flow-matching 함수로 정책을 업데이트
    • 이는 성공한 전이에 가중치 1, 실패에 0을 주는 가중치 기반 SFT

4.3 Relation to Regularized RL

• 해당 섹션에서는 왜 위와 같은 단순한 업데이트 방식이 이론적으로 타당한지 검증
• AWR과의 연관성: 본 논문의 Policy 업데이트 방식은 Advantage-Weighted Regression(AWR)의 변형으로 볼 수 있음.
• 이론적 배경: VLA모델(Flow-matching 기반)은 로그 가능도(Log-likelihood)계산이 어렵기 때문에 기존의 KL 발산 기반 강화학습을 직접 적용할 수 없음.
• 대신, FLow-matching 손실을 활용한 Surrogate divergence 을 정의하여, Exponential advantage에 비례하는 가중치로 Policy를 Projection함.
• 결국, Success trajectory에 가중치를 두어 학습하는 방식은, 참조 정책($\pi_{ref}$)에서 너무 멀어지지 않으면서 보상을 최적화하려는 정규화된 RL의 CLosed-form solution에 대한 근사치를 입증

Log-likelihood(로그 가능도): 로봇이 특정 행동을 할 확률에 로그($Log$)를 취한 값,

• 보통 A라는 상황에서 B 행동을 할 확률을 학습을 하는데, Flow-matching(또는 Diffusion)방식은 VLA모델은 확률을 직접 계산하는게 아니라, 데이터를 생성하는 "방향"을 배움. 확률($Log P$)을 모르니, 확률을 사용하는 기존의 강화학습(PPO 등)을 그대로 사용할 수 없다는 의미

AWR(Advantage-Weighted Regression): 잘한 행동에는 가중치를 많이 주고, 못한 행동은 무시해서 배우는 회귀 방법

• 복잡한 공식 없이, 성공한 데이터에 가중치를 줘서 Supervised Learning을 시키는 것만으로도 정책이 개선된다는 것은 이미 수학적으로 증명

Exponential Advantage:

• Advantage: "평소보다 얼마나 더 잘했나?"를 나타내는 점수
• Exponential(지수화): 이 점수에 $exp$(지수)를 취하면, 조금만 잘해도 가중치가 확 커지고, 조금만 못해도 가중치가 0에 가깝게 확 줄어듬
• 저자들은 아주 단순하게 성공하면 가중치를 1(학습함), 실패하면 가중치를 0(학습 안함)으로 설정했는데, 이것이 Exponential Advantage의 극단적 형태

Surrogate Divergence(대리 발산):

• Divergence(발산): "두 모델이 얼마나 다른가?"를 재는 척도, 보통 KL 발산이라는 것을 사용함
• Surrogate(대리): 앞서 말했듯 이 모델은 확률을 모르기 때문에 KL 발산을 사용 불가능
• KL발산 대신, 모델이 학습할때 사용하는 Flow-matching Loss를 대신(Surrogate) 사용하여 얼마나 다른지 측정

5. Experiments

• 저자들은 VLAW Framework가 실제환경에서 얼마나 효과적으로 작동하는지 검증하기 위해, 세가지 질문을 던짐
  • World Model이 물리적으로 정확한가?
  • 합성 데이터가 도움이 되는가?
  • 반복학습이 성능을 높이는가?

5.1 Experimental Settings

• 플랫폼 및 하드웨어: DROID 로봇 플랫폼(Franka Panda 로봇 팔 + Robotiq 그리퍼)를 사용
• 카메라 구성: 두 개의 3인칭 카메라와 한 개의 손목(wrist-view) 카메라를 통해 관측 데이터를 수집
• 5가지 평가 task: Stacking, Open book, Erase Marks, Scooping, Drawing 등 접촉이 잦고 변형 가능한 물체를 다루는 어려운 작업들로 구성
• 데이터 및 하이퍼파라미터: 각 작업당 25개의 Human Demonstration data로 Policy를 warm-start한 후, 매 반복마다 실제 환경에서 50개의 Rollout을 수집

5.2 World Model의 정확도 검증

• World Model이 실제 물리 법칙을 얼마나 잘 decribe 하는지 확인하기 위해 실제 로봇의 action sequence를 world model 안에서 그대로 Replay
  • Video Quality Metrics: Online Rollout data를 학습한 World Model은 PSNR, SSIM 같은 비디오 품질 지표와 FVD같은 분포 지표에서 baseline 모델들보다 성능이 좋음
  • Event Confusion Matrix: 특히 물체와 접촉했을 때 Success/Failure 여부를 예측하는 Event Confusion Matrix에서 가짜성공(False Postive)을 크게 줄임
  • Long-horizon rollouts: 최대 20초(20회 반복)의 긴 시간 동안 정책을 Rollout해도 높은 visual fidelity와 physical plausibility를 유지

5.3 정책 성능 향상 결과

• VLAW를 통해 학습된 정책을 두 가지 baseline(Filtered BC, DSRL)과 비교함
  • Overall Performance: VLAW는 모든 작업에서 baseline모다 훨씬 높은 성능 향상을 보임
    • Ours-2(Policy Update 2회 반복): Average Success rate 86.8%를 기록하며 baseline policy(46.0%) 대비 39.2%라는 압도적인 향상을 보임
  • 작업별 성과: 가장 어려웠던 Drawing 작업의 경우, 초기 22%였던 성공률이 VLAW학습 후 78%까지 수직 상승하였음.

5.4 Ablation Study

• 합성 데이터의 양: World Model이 생성하는 합성 Rollouts의 수를 줄이자 성능이 눈에 띄게 하락함
• 실제 데이터 포함 여부: 정책을 미세 조정할 때, World Model의 데이터만 사용하는것 보다, 소량의 실제 데이터를 섞어서 학습하는 것이 성능 유지에 필수적임

6. Conclusions and Discussions

• VLAW 제안: VLA 정책과 Action-conditioned world model을 공동으로 향상시키는 iterative 개선 파이프라인인 VLAW를 제안

• 성능 검증: 다수의 contact-rich 조작 작업에서 VLAW가 일관되게 성능을 향상시킨다는 점을 입증

• 물리적 충실도: 실제 online data를 활용해 학습된 world model이 다운스트림 작업에서 높은 물리적 정확도(High fidelity)를 달성할 수 있음을 보임

• 한계:

  • task 부족: 현재 모델은 Online data로 수집한 5가지 task에 대해서는 높은 성능을 보이지만, 평가 범위가 이 task에만 한정되어 있음
  • 데이터 확장성 필요: 더 넓고 다양한 task set으로 online rollout data를 확장하는 것이 future work