Title : ACoT-VLA: Action Chain-of-Thought for Vision-Language-Action Models (CVPR 2026)
논문 링크 : https://arxiv.org/pdf/2601.11404
Github: https://arxiv.org/pdf/2601.11404

1. Introduction

1.1 Generalization robot policy로서의 VLA 모델 등장

• 특정 작업에만 국한되어 일반화 성능이 떨어지던 기존 로봇 정책의 한계를 극복하기 위해 최근 연구는 VLA(Vision-Language-Action)모델로 수렴하고 있음.
• VLA모델은 대규모로 사전 학습된 Vision-Language Model을 백본으로 활용하여 시각적 관측 정보와 언어 명령을 Latent Representation으로 인코딩하고, 이를 기반으로 행동 디코더를 조건화함.

1.2 기존 중간 추론(CoT) 패러다임의 발전과 한계

• Language-based CoT: 정밀하고 일반화된 행동 출력을 유도하기 위해 입력 공간과 행동 공간 사이에 '언어 생성(하위 작업 예측)'이라는 중간 추론 단계를 도입함.
• Visual-based World Model: 환경의 동적 변화를 시뮬레이션하는 World Model을 활용하여 미래의 관측(Goal Image)를 예측함으로써 행동 시퀀스의 효과성과 목표 지향성을 강화함.
• 핵심 도전 과제(Semantic-Kinematics Gap): 기존의 Generalization Policy들은 주로 visual-Language Space에서 추론함. 이로 인해 풍부한 Semantic Representation과 로봇이 실제로 실행해야 하는 Low-level Action(Kinematic) 사이의 내재적 격차를 충분히 해결하지 못함.
  • VLM 백본의 지식은 Web Scale data의 semantic alignment 및 질의응답 학습에서 유래한 것이라 물리적 역학보다는 언어적 이해에 최적화되어 있음.
  • World Model 역시 미래의 Goal Image는 예측하지만, 그 가이드는 시각적 표현에 묶여 있음.
    -결과적으로 의미론적, 시각적 추론은 행동 시퀀스 생성에 있어 최적의 정밀한 행동 공간 정보를 전달하기에 한계가 있음.

1.3 Action Chain-of-Thought(ACoT)

• Semantic-Kinematic Gap을 메우기 위해 Robot Policy에는 순수 의미론적, 시각적 가이드가 아닌, '운동학적으로 일관된(Kinematically coherent)'가이드가 필요하다고 주장함.
• 생각(Thought)의 과정을 언어 토큰이 아니라, 행동 공간 내에서 직접 작동하는 구체적이고 물리적으로 접지된 'Implict Action intent chain'으로 재정의함.
• 물리적 시연을 통해 학습하는 것과 유사하게, 행동 공간 정보에 직접 조건화됨으로써 훨씬 더 효율적이고 사실적으로 Grounded 정책 학습이 가능해짐.
• 행동 관련 정보의 두 가지 형태:
  • 명시적 형태(Explict): 실행 가능한 행동 패턴을 직접 인코딩하는 인간 시연 등의 관측 가능한 운동 trajectory
  • 암시적 형태(Implicit): "뻗기", "쥐기"와 같은 언어 표현이나 시각적 맥락에 내재된 상호작용 의도 등 feasible 행동의 분포를 정의하는 잠재적 단서
• 시너지 효과를 내는 두 가지 메커니즘 도입:
  • Explicit Action Reasoner(EAR): 가벼운 트랜스포머를 통해 다중 모달 관측에 기반한 대략적인 운동 trajectory를 합성하여 직접적이고 실행 가능한 행동 가이드를 제공함.
  • Implicit Action Reasoner(IAR): 다운샘플링된 다중 모달 표현과 학습 가능한 쿼리 간의 크로스 어텐션 모델링을 통해 잠재적인 행동 사전 지식(Proiors)을 추론함.
• 통합 프레임워크(ACoT-VLA): 상호 보완적인 EAR과 IAR을 결합하여 가이드라인을 형성하고 downstream 행동 헤드를 조건화함으로써 Grounded 범용 로봇 정책 학습을 가능하게

1.4 Contribution

• 추론 과정을 추상적 언어나 시각적 목표가 아닌, 구조화된 '명시적 행동 공간 의도 체인'으로 정립한 최초의 Action Chain of Thought(ACoT) 패러다임 제시
• Explicit trajectory Guide와 Implicit Action을 모두 제공하는 EAR 및 IAR 모듈 제안
• 두 모듈을 결합하여 접지된 범용 로봇 정책 학습을 위한 unified 프레임워크인 ACoT-VLA 구축
• 광범위한 시뮬레이션 및 실제 환경 실험을 통해 다수의 벤치마크에서 SOTA 달성

2. Methodology

2.1 Problem Formulation

• 기본 목적: 자연어 명령 $l$과 현재 시각의 시각적 관측 $o_t$가 주어졌을 때, 범용 로봇 정책 $\pi_{\theta}$는 작업을 완수하기 위한 행동 시퀀스 $a_{t:t+H-1}$을 예측함.
• 기존 가이드 신호 $g$의 분류: 많은 기존 연구들이 예측 능력을 높이기 위해 보조 정보인 가이드 신호 $g$를 도입함.
  • 언어 수준 가이드($g_{lang}$): VLM 기반 방법론에서 주로 사용하며, LLM의 추론 능력을 이용해 Subtask를 예측함.
  • 시각 수준 가이드($g_{vis}$): World Model 기반 방법론에서 주로 사용하며, 미래의 관측(미래 이미지)를 예측함.
  • 수식 표현: $\pi_{\theta}(a_{t:t+H-1},g|o_{t},l)=\pi_{\theta}(a_{t:t+H-1}|o_{t},l,g)\pi_{\theta}(g|o_{t},l) \quad \text{where } g\in\{g_{lang},g_{vis}\}$
• 제안하는 행동 가이드 $g_{action}$: 본 논문은 초점을 시각/언어가 아닌 행동 도메인 자체로 전환하여, 행동 공간에서 직접 작동하는 단서 $g_{action}$을 주입함. $(g \in {g_{lang},g_{visual}, g_{action}})$
  • 명시적 행동 가이드($g^{ex}_{action}$): 참조 행동 시퀀스 형태의 직접적인 사전 지식(Priors) 제공
  • 암시적 행동 가이드($g^{im}_{action}$): 언어 및 시각적 맥락 속에 내재된 행동 분포 제공

2.2 Explicit Action Reasoner(EAR, 명시적 행동 추론기)

• 고품질 행동 예측을 유도하기 위해 모델이 스스로 내부 가이드라인 역할을 할 '참조 행동 시퀀스'를 자율적으로 합성하도록 함. (생성 모델에서 사전 예측치를 생성 과정에 반영하여 품질을 높이는 '자가 조건화(Self-conditioning)' 메커니즘의 행동 공간 버전
• 구조 및 연산 과정: 가벼운 트랜스포머(Transformer) 구조로 구현됨.
  • VLM 인코딩: 사전 학습된 VLM이 관측 $a_t$와 명령 $l$을 입력받아 각 레이어($N$)의 Key-value 캐시를 생성함.
    $(K^{VLM}_{1:N}, V^{VLM}_{1:N}) = VLM(o_t, l)$
• EAR 트랜스포머 입력: 노이즈가 섞인 행동 시퀀스 $\tilde{a}_{t:t+H^{ref}-1}$($H^{ref}$: 참조 행동 호라이즌)를 초기 은닉 표현$h_{0}^{ref}$로 임베딩하여 입력함.
• 레이어별 어텐션 연산: 각 트랜스포머 레이어 $i$에서 행동 시퀀스 내의 시간적 의존성을 잡는 Self-Attention과 VLM의 멀티모달 컨텍스트를 주입하는 Cross-Attention을 결합하여 연산함.
  $\begin{aligned} \tilde{h}_{i}^{ref}=Self-Attn(h_{i-1}^{ref})+CrossAttn(h_{i-1}^{ref},K_{i}^{VLM},V_{i}^{VLM}) \end{aligned}$
• residual Feed forward feedback: 중간 표현을 FFN(Feed-Forward Network)으로 처리하여 표현을 업데이트함.
  $\begin{aligned} h_{i}^{ref}=h_{i-1}^{ref}+FFN(\tilde{h}_{i}^{ref}) \end{aligned}$
• 최종 Output: Flow Mathcing 학습을 통해 노이즈가 제거된 참조 행동 시퀀스 $a_{t:t+H^{ref}-1}^{ref}$를 생성하고, 이를 MLP 프로젝터로 인코딩하여 명시적 가이드 임베딩 $Z^{ex}$를 획득함.

2.3 Implicit Action Reasoner(IAR, 암시적 행동 추론기)

• VLM의 Multi Modal latent space에 숨겨진 시각적 행동 가능성(Visual Affordances)이나 행동 관련 의미론(Action semantics) 등의 암시적 단서를 추출하여 EAR을 보완함.
• 구조 및 연산 과정: VLM의 Key-Value Cache에서 직접 작동함.
  • 학습 가능 쿼리 설정: VLM의 각 레이어 $i$에 대해 학습 가능한 행렬 $Q_i \in \mathbb{R}^{M \times d}$ 를 초기화함. $(M$: 하이퍼파라미터, $d$: VLM 은닉 차원$)$
  • 다운 샘플링(Downsampling): VLM KV Cache 정보 중복을 제거하고 연산 효율성을 높이기 위해, 낮은 차원의 공간 ($d' \ll d$) 으로 선형 투영(Linear Projection)함.
    $\begin{aligned} Q_{i}^{\prime}=Q_{i}W_{Q}^{(i)}, \quad K_{i}^{\prime}=K_{i}^{VLM}W_{K}^{(i)}, \quad V_{i}^{\prime}=V_{i}^{VLM}W_{V}^{(i)} \end{aligned}$
• Cross attention & Pooling: 투영된 $K_i'$와 $V_i'$로부터 행동 관련 정보를 Cross-Attention으로 추출한 후, Average Pooling과 MLP Projector를 거쳐 각 Layer의 implicit Action intent 특징 $Z_i^{im}$을 획득함.

2.4 Action-Guided Prediction(AGP, 행동 가이드 기반 예측)

• EAR의 Explicit Guided($Z^{ex}$)와 IAR의 Implicit Guided($Z^{im}$)를 최종 정책 학습 및 행동 생성에 통합하는 전략임.
• Dual Cross-Attention
  • 노이즈가 있는 Action Segmentation $\tilde{a}_{t:t+H-1}$ 를 MLP로 인코딩하여 행동 쿼리 $Q_{action}$을 형성함.
  • 이 $Q_{action}$을 두 가이드 특징 정보와 각각 상호작용시켜 상호 보완적인 사전 지식을 검색함.
    $\begin{aligned} S^{ex}&=CrossAttn(Q_{action},Z^{ex},Z^{ex}) \\ S^{im}&=CrossAttn(Q_{action},Z^{im},Z^{im}) \end{aligned}$
    (여기서 $S^{ex}$는 운동학적 단서(Kinematic cues)를, $S^{im}$은 잠재적 행동 경향성(Latent action tendencies)을 강조함).
• Self-Attention Fusion: 두 가이드 특징을 서로 다른 측면을 효과적으로 결합하기 위해, 두 벡터를 직렬 연결(Concatenate)한 후 Self-Attention block을 통과시켜 통합된 표현 $\overline{h}$를 만듬
  $\begin{aligned} \overline{h}=Self-Attn([S^{ex};S^{im}]) \end{aligned}$
• 최종 action 생성: 융합된 표현 $\overline{h}$가 최종 Action Head $\pi_{\theta}^{head}$에 공급되어 노이즈가 제고된 실행 가능한 행동 시퀀스를 최종 예측함.

2.5 Training Objectives & Stabilization(학습 목표 및 안정화)

• Training Loss Function: 전체 프레임워크는 표준 Flow Matching의 평균제곱오차(MSE) Objective Function 아래에서 최적화됨.

  • EAR 모듈의 Loss($\mathcal{L}_{\pi_{\theta}^{ref}}$)과 최종 Action head의 Loss($\mathcal{L}_{\pi_{\theta}^{head}}$)두 부분으로 구성됨.
  • 전체 Loss Function: $L_{total} = \lambda_{1}\mathcal{L}_{\pi_{\theta}^{ref}} + \lambda_{2}\mathcal{L}_{\pi_{\theta}^{head}} \quad (\lambda_{1}, \lambda_{2} \text{는 균형 요인})$

• Teacher Forcing Stabilization

  • 문제점: 학습 초기나 도중에 EAR 예측치($\pi_{\theta}^{ref}$의 출력)가 불안정하여 최종 행동 헤드($\pi_{\theta}^{head}$)의 최적화를 방해할 수 있음.
  • 해결책: 학습 단계에서는 EAR 모델의 예측치 대신 GT를 참조 trajectory로부터 $Z^{ex}$를 계산하여 주입함으로써 최적화 간섭을 방지
  • Inference 단계: Teacher Forcing을 off하고 완전 Self-conditioned 모드로 전환하여, EAR($\pi_{\theta}^{ref}$)이 스스로 참조 행동을 자율적으로 생성하고 이를 Action head에 가이드로 제공함.

3. Experiments

3.1 Experimental Setup(실험 설정)

• 데이터 소스(Data Sources):

  • 시뮬레이션: 추가 데이터 없이 각 benchmark(LIBERO, LIBERO-Plus, VLABench)의 공식 표준 데모데이터셋만을 사용하여 학습함.
  • 실제 환경: 자체 로봇 플랫폼을 통해 직접 수집한 데모 데이터를 사용함.

• 구현 세부 정보(Implementation Details):

  • base model: $\pi_{0.5}$ 모델을 베이스라인으로 삼아 구현함.
  • Encoder & LLM Backbone: 시각 인코더는 SigLIP을, LLM Backbone은 Gemma 2B(Layer Num $N=18$, hidden state $d=2048$)를 사용하여 Input Frame $d'=128$로 설정함.
  • Horizon 설정: 참조 행동 호라이즌($H^{ref}$)은 15단계(Action Shift 2), 최종 정책 출력 호라이즌 10단계(Action Shift 1)로 고정함. Loss Function 균형 요인은 $\lambda_1 = \lambda_2 = 0.5$

• 학습 구성(Training Configuration):

  • 최고 학습률 $5e-5$의 Cosine Decay 스케줄(Warm-up 10K Step)을 사용하며, AdamW Optimizer와 감쇠율 0.999의 EMA를 적용함.
  • 하드웨어는 학습 시 NVIDIA H100 GPU 8대, 실제 Inference 시 NVIDIA RTX 4090 1대를 사용함.

3.2 Simulation Experiments(시뮬레이션 실험 결과)

• LIBERO Benchmark 결과
  • task 구성: 공간 인지(Spatial) , 물체 조작(Object), 목표 완수(Goal), 장기 추론(Long)의 4개의 영역으로 이뤄지며, 각 영역별 10개 작업(작업당 50개 데모)으로 총 2,000회 Rollout 평가를 수행함.
  • 성능 우위: 제안 방법론은 모든 트랙에서 기존 방법론들을 능가함. 기존 최고 성능 모델인 $\pi_{0.5}$대비 평균 1.6%의 절대적 성능 향상을 기록함.
  • Long-horizon 에서의 강점: 엄격한 오차 제어가 필요한 LIBERO-Long Task에서 뚜렷한 향상을 보임. 이는 추상적인 언어/시각 CoT와 달리, 행동 공간에서 직접 정밀한 구조적 가이드를 제공하며 로봇 제어의 견고함을 크게 높였기 때문

• LIBERO-Plus Benchmark 결과
  • 태스크 구성: 외부 환경 교란(카메라 시점, 로봇 초기 상태, 언어 변형, 조명, 배경 텍스처, 센서 노이즈, 물체 배치 등 7개 차원) 하에서 강건성을 평가함. 총 10,030개 에피소드로 신뢰성을 확보함.
  • 평가 프로토콜 및 결과
    • Zero-Shot Transfer: LIBERO 데이터로만 학습 후 바로 교롼 환경에 투입. 기존 시각/언어 가이드 모델들이 크게 무너지는 가운데, 제안 모델은 로봇 초기 상태 변형에서 +3.2%, 언어 변형에서 +4.2%의 뛰어난 일반화 성능을 입증함.
    • Supervised Fine-Tunning : 해당 데이터셋으로 직접 최적화 시 88.0%의 평균 성공률로 SOTA 달성

• VLABench 벤치마크 결과
  • Task 구성: 의도 점수(Intention Score, IS)와 진행 점수(Progress Score, PS)를 활용해 5개 Track(in-distribution, cross-category, common-sense reasoning, semantic-instruction, unseen-texture)을 평가함.
  • 제안 모델이 IS 63.5%, PS 47.4%로 가장 높은 점수를 기록함. 특히 외형 변화가 심한 Unseen-texture 트랙에서 IS +12.6%, PS +7.2%라는 압도적인 개선을 달성하여 뛰어난 분포 변화 대응력을 보임.

• Ablation Study
  • 모든 Ablation Study는 $\pi_{0.5}$를 baseline으로 하여 LIBERO 벤치마크 등에서 수행됨.

    • EAR(명시적 행동 추론기)의 효과:

      • 베이스라인에 EAR만 추가했을 때 평균 성공률이 96.9%에서 98.3%로 상승함. 중간 참조 행동 시퀀스가 로봇 행동에 강력한 Inductive Bias를 주어 복잡한 관측-행동 mapping의 모호성을 줄여줌.

    • IAR(암시적 행동 추론기)의 효과

      • baseline에 IAR만 추가했을 때 성공률이 96.9%에서 98.1%로 상승함. 시각-언어 백본에 내재된 잠재 행동 분포를 추출해 냄으로써, 로봇이 task와 일관된 안정적인 행동 패턴을 유지하도록 도움을 줌

    • EAR + IAR 결합

      • 두 모듈을 모두 결합했을 때 최고 성공률이 98.5%를 달성함. Explicit Action Reasoner와 Implicit Action Reasoner 경향성이 상호 보완적으로 적용함을 확인시켜줌.

      

- EAR 하이퍼파라미터 및 모델 크기 영향
  - 참조 행동의 horizon이 짧고 액션 시프트가 적당할 때 상대적으로 더 높은 이득을 얻음
  - EAR의 파라미터 크기를 바꿧을 때(150M ~ 500M), 300M 크기에서 가장 최고의 성능을 ㅗ보였으며, 최종 행동 헤드보다 지나치게 커지는 경우(500M) 오히려 훈련 중 무관한 상관관계를 Overfitting하여 성능이 저하되는 Non-monotonic 흐름을 보임
  ![](https://velog.velcdn.com/images/wjdghks987/post/b001fc66-a6d1-4c47-b13b-1e8a747aa1e9/image.png)

- IAR의 KV Cahce 상호작용
  - 단순 Query 방식이나 Attention Pooling 방식보다, 원래의 고차원 캐시 노이즈를 걸래느는 Downsample 전략이 가장 우수한 성능을 보임.
  

3.3 Real-World Deployment & Sim-to-Real

• 실제 로봇 환경 테스트 결과
  • robot & task: AgiBot G1 휴머노이드 로봇 플랫폼에서 접촉 중심의 '얼룩 닦기', 정밀 제어가 필요한 '물 따르기', 명령을 따르는 '오픈셋 물체 잡기' 3가지 작업을 수행함.
  • 성능 지표: 제안 프레임워크는 baseline model($\pi_0, \pi_{0.5}$)의 평균 성공률인 61.0%, 33.8%를 크게 앞지르는 66.7%의 평균 성공률을 달성하여 실제 센싱 노이즈 환경에서도 실효성을 증명함.
  • 이종 로봇 적응성: AgileX 로봇 플랫폼에서도 오픈셋 집기 작업을 동일하게 성공시켜 Cross-embodiment 간의 뛰어난 적응 능력을 보여줌.
• Sim-to-Real 전이(Genie-Sim 3.0 벤치마크)
  • 시뮬레이션 환경 데이터로만 학습 후 가상 및 실제 환경에 각각 배포하여 색상/크기별 물체 집기 및 테이블 정리 작업을 수행함.
  • 베이스라인 대비 시뮬레이션에서 84.2%(+8.5%), 실제 환경에서 82.9%(+5.4%)로 두 영역 모두 SOTA 달성
  • 가상과 실제 간의 Visual Domain Gap이 존재하더라도, 운동학적으로 접지된 행동 공간 가이드는 변하지 않고 일관되게 유지되므로 Sim-to-Real 전이 시 성능 저하가 최소화됨을 증명함.
• Latency 분석
  • 모듈 추가에 따라 모델 파라미터는 3.35B -> 3.81B로 증가하며 End-to-End latency는 91ms,에서 112ms로 소폭 증가
  • 그러나 연산 오버헤드 증가량에 비해 정확도와 견고성 향상폭이 압도적으로 크기 때문에 매우 효율적이고 유리한 Trade-Off 관계를 가짐.

4. Conclusion

• 본 논문은 VLA모델의 High-Level reasoning과 Low-level action 사이의 격차를 해소하기 위해 Action Chain-of-Thought 패러다임을 제안함.
• 명시적 행동 추론기(EAR)와 암시적 행동 추론기(IAR)를 결합하여 행동 공간 내에서 직접적이고 물리적으로 접지된 추론 가이드를 제공하는 ACoT-VLA 아키텍처를 구현함.
• 대규모 시뮬레이션 및 실제 로봇 배치 실험을 통해 제안 모델이 다양한 manipulation 작업에서 탁월한 정확성, robustness 및 generazation 성능을 달성하며 SOTA 달성
• 추가적인 추론 모듈(IAR, EAR) 도입으로 인해 모델 파라미터 증가와 inference time 소폭 증가