[논문 리뷰] CTRL-WORLD: A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION

두부김치·2026년 4월 13일

논문 리뷰

목록 보기

14/20

Title : CTRL-WORLD: A CONTROLLABLE GENERATIVE WORLD MODEL FOR ROBOT MANIPULATION(ICLR 2026)
논문 링크 : https://arxiv.org/pdf/2510.10125
blog: https://ctrl-world.github.io/

1. Abstract

범용 로봇 정책(Generalist robot policies)이 발전하고 있지만, 익숙하지 않은 물체나 명령에 대한 능력을 평가하고 개선하는 것은 여전히 어려움
높은 비용: 엄격한 평가는 방대한 실물 로봇 실험을 요구하며, 성능 개선을 위한 전문가 labeling 데이터 수집은 비용이 많이 들고 확장이 어려움
기존 모델의 한계: World Model이 대안으로 떠오르고 있으나, Multi-View 지원, 미세한 Action 제어, Long-horizon Interaction의 일관성 측면에서 기존 연구들은 한계를 보임
Proposed
- 모델 특징: 범용 로봇 정책의 language instruction 능력을 평가하고 개선하기 위한 제어 가능한 Multi-view 시점 생성 World Model 설계
- 메모리 검색 매커니즘: 포즈 조건부(Pose-conditioned) 메모리 검색을 통해 장기적 일관성을 유지
- 프레임 단위 Action-conditioned: 프레임 레벨에서 Action을 입력받아 정밀한 제어를 달성
- 학습 데이터: 95,000개의 trajectory와 564개의 scene을 포함한 DROID Dataset으로 학습

2. Introduction

현재 VLA 모델의 한계
- 취약한 일반화: 최근 VLA모델들이 다양한 작업을 수행하고 있지만,실제 오픈 월드 상황에서는 여전히 성능이 불안정함.
- 평가의 어려움: 정책의 성능을 제대로 평가하려면 대규모의 실제 로봇 실험이 필요한데, 이는 물류적으로 힘들고 반복 주기를 늦추는 원인이 됨.
- 약점이 발견되어도 더 많은 expert data를 수집하는 것 외에는 정책을 강화할 뚜렷한 방법이 없음
기존 World Model의 기술적 결함
- Imagination 속에서 학습하는 방식은 유망하지만, 기존 모델들은 다음과 같은 이유로 범용 VLA모델과 상호작용하기에 부족함.
- Single View 한계: 주로 3인칭 Single View로만 생성하여 정보가 제한적이며, Wrist-view가 필수적인 현재 VLA모델과 호환되지 않음
- 정밀도 및 일관성 부족: 고주파 액션에 대한 세밀한 제어가 어렵고, 긴 시간 동안 일관성 있는 비디오를 생성하는 데 어려움을 겪음
Ctrl-World
- Ctrl-World는 위 문제들을 해결하기 위해 세가지 핵심 요소를 도입함
- Multi-view Prediction: 현장감 있는 scene 표현과 손목 카메라 예측을 통해 물리적 접촉 시의 Hallucination을 줄임
- 프레임 레벨 Action-conditioned: 시각적 역동성과 제어 신호를 밀접하게 정렬하여 각 동작의 인과적 효과를 반영
- 메모리 검색 메커니즘: 과거의 드문드문한 프레임을 context에 추가하여 Long-horizon rollouts의 안정성을 확보
- 비디오 생성기를 로봇과 상호작용 가능한 simulator로 변환하여, 이를 통해 실제 로봇 없이도 정책을 평가하고 가상 데이터를 통해 성능을 44.7%까지 끌어올릴 수 있음.

3. Problem Formulation

일반 로봇 정책의 미래 결과 예측: World Model $W$ 은 일반 로봇 정책 $\pi$ 가 제안한 액션들을 실행했을 때 발생할 미래의 결과를 예측하는 것을 목표롷마.
일반 로봇 정책( $\pi$ )의 정의
- 입력: 다중 시점 관측 $O_t$ 와 언어 지시문 $l$ 을 입력으로 받음
  - 관측값 $o_t$ 는 $n$ 개의 카메라 뷰 $[I^1_t, \cdots , I^n_t, q_t]$ 와 로봇의 Pose $q_t$ 를 포함함.
- 출력: 정책은 $H$ 단계의 Action Chunk를 출력함.
  - $a_{t+1}, a_{t+2}, \cdots, a_{t+H} \sim \pi(\cdot|o_t,l)$
World Model( $W$ )의 역할과 상호작용
- 미래 관측값 생성: World Model은 현재 관측값 $o_t$ 와 정책이 내놓은 Action Sequence $A_t$ 를 바탕으로 미래의 다중 시점 관측값들을 생성해야함.
  - $o_{t+1}, \cdots, o_{t+H} \sim W(\cdot|o_t,A_t)$
- 가상 공간 내의 Auto-regressive loop
  - World Model이 생성한 최종 예측값 $o_{t+H}$ 를 다시 정책의 입력으로 보냄
  - 정책은 이를 바탕으로 다음 Action Chunk $A_{t+H}$ 를 생성함.
  - 이 과정을 반복함으로써, 실제 로봇 없이 Imaginatin space 내에서만 Long-horizon의 Rollout이 가능해짐.

4. Controllable World Model for Robot Manipulation

Ctrl-World 모델은 1.5B Parameter의 Stable Video Diffusion(SVD)를 백본으로 사용함.

4.1 Learning World Model Ctrl-World

Multi-View Joint Predictions

VLA 모델이 필요로 하는 다양한 시각 정보를 일관성 있게 제공하기 위한 구조.
통합 입력 처리: $N$ 개의 Camera View(3인칭 및 손목 카메라)에서 얻은 이미지들을 Token 차원을 따라 결합하여 입력
Feed-forward Transformer를 사용하여 여러 카메라 간의 공간적 관계를 캡처하며, 모든 view를 동시에 예측
단일 시점 모델에서 흔히 발생하는 환각(Hallucination) 현상을 실질적으로 감소시키고 시점 간 정합성을 높임

Pose-conditioned Memory Retrieval

긴 시간 동안 로봇의 동작을 생성할 때 발생하는 예측 오차 누적(drift) 문제를 해결
희소 이력 활용(Sparse History): Context 길이를 최적화하기 위해 과거 프레임 중 $k$ 개를 일정 간격( $m$ )으로 샘플링하여 입력에 포함함.
프레임 단위 Cross-Attention : 과거의 로봇 팔 Pose( $q$ ) 정보를 각 프레임에 주입
Anchoring: 현재 예측하려는 시점의 Pose와 유사한 과거의 상태를 메모리에서 찾아 참조함으로써, 미래 예측의 안정성을 확보

Frame-level Action Conditioning

텍스트와 이미지만으로 제어하던 기존 video model의 한계를 극복하고 센티미터 단위의 정밀 제어를 가능하게 함.
- Action Sequence 주입: 정책이 출력한 Action Chunk( $a_{t+1:t+H}$ )를 모델의 조건으로 추가
- Cartesian Pose 변환: 입력된 Action Sequence를 로봇 팔의 Cartesian Pose로 변환한 뒤, 과거 Pose 데이터와 결합
- 세밀한 정렬: Spatial Transformer 내부에서 각 시각적 토큰이 해당 시점의 Pose embedding에 attend를 기울기에 하여, 동작 신호와 시각적 변화를 밀접하게 동기화.

Training Objective

모델의 지식을 보존하기 위해 SVD의 파라미터는 유지하고, Action Projection을 위한 3-layer MLP만 새로 초기화하여 학습을 진행
Diffusion Loss: Gaussian Noise가 섞인 미래 관측값( $x_{t'}$ )을 입력받아 원래의 상태( $x_0$ )를 복원하는 방식으로 학습
Loss function
- $\mathcal{L}=\mathbb{E}_{x_{0},\epsilon,t^{\prime}}||\hat{x}_{0}(x_{t^{\prime}},t^{\prime},c)-x_{0}||^{2}$
- 여기서 $c$ 는 과거 Pose, 미래 Action Pose, 과거 프레임 등 모든 조건 정보를 포함

4.2 Using Ctrl-World for Policy Evaluation and Improvement

Policy Evaluation Within World Model
- 현실 세계의 물리적 제약 없이 Imagination Space에서 로봇 정책의 성능을 측정하는 단계
- 가상 Rollout 수행: 초기 관측값( $o_t$ )과 언어 지시문( $l$ )이 주어지면, 로봇 정책과 World Model이 서로 데이터를 주고받으며 가상 trajectory( $\tau$ )을 생성
- 초기값 설정: 시뮬레이션에 사용되는 초기 관측값은 검증 데이터셋에서 샘플링하거나 실제 환경에서 찍은 스냅샷을 사용
- 성공 판정: 생성된 Imagination trajectory가 성공적으로 수행햇는지 여부는 인간 선호도 판단(Human Preference judgments)을 기준으로 라벨링
- 이를 통해 수많은 실제 로봇 실험 없이도 정책의 능력을 수치화하고 순위를 매길 수 있음.
Policy Improvement with Synthetic Data
- World Model이 생성한 성공적인 경험을 다시 로봇 정책에 활용하여 성능을 끌어올리는 단계
- 결정론적 행동 극복: 정책이 고정된 상황에서 항상 같은 행동만 반복하는 경향을 깨기 위해 구조화된 perturbations을 도입하여 rollout의 다양성을 확보
  - 지시문 재구성(Rephrasing): 같은 의미의 명령어를 다양하게 표현하여 정책의 유연한 반응을 유도
  - 무작위 초기 상태(Random initial States): World Model 내에서 로봇의 시작 위치를 무작위로 재설정하여 다양한 상황을 경험하게 함.
- 성공 trajectory 선별 및 학습
  - 다양한 시나리오에서 수집된 가상 trajectory들 중 성공한 것들만 골라냄.
  - 선별된 성공 trajectory dataset( $D_s$ )을 사용하여 정책을 fine-tuning함.
  - 이 과정을 통해 로봇은 실제 데이터를 추가로 수집하지 않고도 익숙하지 않은 물체나 명령에 대한 성공률을 크게 높일 수 있음.

5. Experiments

Experiments Setups
- 플랫폼 및 데이터셋: 한 개의 wrist view와 두개의 3인칭 view가 장착된 DROID 플랫폼을 사용, 학습에는 564개의 장면에서 수집된 약 95k trajectory(성공 76k, 실패 19k)이 포함된 DROID 데이터셋을 활용
- 학습 상세: 15단계(1초 분량)의 Action chunk를 조건으로 사용하며, 2x8 H100 GPU에서 약 2~3일간 학습을 진행
World Model Quality Analysis
- Ctrl-World 가 얼마나 사실적이고 제어 가능한 영상을 만드는지 평가
- 정량적 우위: PSNR, SSIM 등 전통적 지표와 LPIPS, FID, FVD 등 생성 모델 지표 모두에서 기존 모델(WPE, IRASim)보다 뛰어난 성능을 보임. 특히 다중 시점 공동 예측이 생성 품질을 대폭 높임
- 세밀한 제어력: Cartesian Pose 기반의 Action-conditioned 를 통해 단 몇 센티미터 차이의 동작도 영상에 정확히 반영하는 정밀함을 보여줌
- Wrist view처럼 시야가 급격히 변하는 시점에서도 과거 메모리를 참조하여 끊김 없이 일관된 영상을 생성

World Model for Policy Evaluation
- 가상 환경에서의 평가가 실제 성능을 얼마나 잘 반영하는지를 확인
- 평가 대상: $\pi_0$ , $\pi_0$ -FAST, $\pi_{0.5}$ 등 세 가지 Open Policy를 7가지 작업(PnP, Towel-Folding 등)에서 테스트하였음.
- 상관관계 발견: Imagination Rollout을 통한 지시 이행(Instruction following) 순위가 실제 세계의 성능 순위와 밀접하게 일치함을 확인함. 다만 물체 미끄러짐이나 정밀한 충돌 같은 저수준 물리 현상에서는 약간의 성능 차이가 존재함.

업로드중..

World Model for Policy Improvement
- 가상 데이터를 이용한 Fine-tuning의 효과를 검증
- $\pi_{0.5}$ 모델을 베이스로, 가상 공간에서 지시문을 재구성하거나 로봇 위치를 무작위로 바꿔 다양한 성공 trajectory를 생성한 뒤 이를 학습시킴
- 낯선 물체나 새로운 명령에 대해 baseline의 성공률이 38.7%였던 반면, Synthetic data 학습 후 에는 83.4%로 약 44.7% 향상되었음.
  - Sptial : 0.29 -> 0.88
  - Shape: 0.44 -> 0.91
  - Novel-obj : 0.25 -> 0.81

업로드중..

5. Conclusion

Ctrl-World는 로봇 조작을 위한 제어 가능한 World Model로서, 실제 로봇 없이도 모델의 Imagination만으로 정책 평가와 개선이 가능함.
가상 환경에서 평가된 정책은 실제 세계에서 관찰되는 것과 매우 유사한 양상을 보임
Limitations
- 아주 세밀한 상호작용이 필요한 작업이나 복잡한 물리적 충돌이 발생하는 경우 여전히 오류가 발생
- 매우 긴 단계의 추론이 필요한 task에서는 모델의 예측이 부정확할 수 잇음. initial Pose의 상태에 따라 성능이 민감하게 반응