[논문 리뷰] OneVL: One-Step Latent Reasoning and Planning with Vision-Language Explanation

김성윤(Jack)·2026년 4월 24일

VLA 자율주행

논문 리뷰

목록 보기

44/60

0. 3줄 요약

본 논문은 자율주행의 궤적 예측 시 자율회귀(Autoregressive) 기반 Chain-of-Thought(CoT)가 유발하는 막대한 추론 지연 시간 문제를 해결하기 위해, 잠재 공간(Latent space) 내에서 단일 단계로 추론과 계획을 수행하는 'OneVL' 프레임워크를 제안합니다.
기존의 언어 중심 잠재 모델들이 물리적 동역학을 포착하지 못하는 한계를 극복하고자, 미래 프레임을 예측하는 '시각 보조 디코더(세계 모델)'와 '언어 보조 디코더'를 결합하여 잠재 토큰이 인과적 동역학 및 논리적 텍스트 구조를 동시에 학습하도록 강제합니다.
점진적인 3단계 파이프라인으로 학습된 OneVL은 추론 시 보조 디코더를 제거하고 잠재 토큰을 프롬프트에 한 번에 사전 채우기(Prefill) 방식으로 처리하여, 정답만 예측하는(Answer-only) 베이스라인과 동일한 속도를 달성하면서도 명시적 CoT의 정확도를 능가하는 최초의 SOTA 모델이 되었습니다.

1. 배경 및 문제 정의

자율주행 분야의 기술적 흐름과 등장 배경

최근 자율주행 분야에서는 시각-언어 모델(VLM)을 기반으로 한 Vision-Language-Action(VLA) 구조가 핵심으로 자리 잡았습니다. 이 과정에서 모델이 궤적을 예측하기 전 중간 추론 과정을 명시적으로 텍스트로 생성하는 Chain-of-Thought(CoT) 기법이 도입되었고, 이는 예측의 인과성을 부여하며 성능을 비약적으로 끌어올렸습니다.

기존 방법의 접근 방식과 한계

하지만 표준적인 자율회귀(Autoregressive) 방식의 명시적 CoT는 치명적인 한계가 있습니다. 모델이 추론 사슬의 모든 토큰을 순차적으로 생성한 뒤에야 궤적을 출력할 수 있으므로, 실시간 반응이 필수적인 자율주행 환경에서 지연 시간(Latency) 문제가 발생합니다.

이를 해결하기 위해 등장한 것이 추론 과정을 연속적인 은닉 상태 벡터로 압축하는 잠재 CoT(Latent CoT)입니다. 그러나 COCONUT, CODI와 같이 언어 태스크를 위해 설계된 기존 잠재 CoT 기법을 자율주행에 적용하면 명시적 CoT 모델의 성능에 크게 미치지 못합니다. 논문은 그 원인으로 언어적 묘사가 현실 세계의 인과적 인과율(Causal dynamics)이 아닌, 추상화된 기호에 불과하기 때문이라고 지적합니다. 단순한 언어 정보의 압축만으로는 도로의 기하학적 구조나 다른 객체의 움직임을 계산해 낼 수 없다는 것입니다.

해결하고자 하는 핵심 문제 정의

본 연구는 모델이 명시적 텍스트를 순차적으로 생성하는 시간적 비용을 제거하는 동시에, 압축된 잠재 표현(Latent representation)이 단순히 의미론적 추상화를 넘어 물리 세계의 인과적 동역학을 보존하도록 만드는 방법을 정의하고 해결하고자 합니다.

2. 제안 방법 (Method)

전체 방법의 핵심 아이디어

OneVL은 단순히 언어 추론을 압축하는 것을 넘어, 언어적 의미(Semantic)와 시각적 미래 상황(World Model)을 두 개의 보조 디코더로 감독하여 잠재 토큰의 정보 품질을 높이는 아키텍처입니다. 학습 시에는 잠재 토큰을 텍스트 설명과 미래 영상으로 디코딩하여 인과관계를 학습시키고, 추론 시에는 디코더들을 버림으로써 압도적인 처리 속도를 달성합니다.

입력 데이터 표현 및 전처리 방식

데이터는 모델에 주입될 때 시각 및 텍스트 정보가 인터리빙된 형태로 구성됩니다. 메인 VLM(Qwen3-VL-4B)의 입력으로 현재 프레임의 이미지 토큰과 에고(Ego) 차량 상태, 명령, 과거 궤적이 텍스트 토큰으로 주입됩니다.

가장 핵심적인 변화는 모델의 출력 시퀀스 내 궤적 토큰(Trajectory answer) 바로 앞에 고정된 길이의 두 가지 잠재 토큰 셋을 삽입하는 것입니다.

시각 잠재 토큰 (Visual Latent Tokens): 4개의 토큰으로 구성되며, 시공간적 인과관계를 인코딩합니다. (구현상 35개의 어휘 길이 차지)
언어 잠재 토큰 (Language Latent Tokens): 2개의 토큰으로 구성되며, 주행 의도와 상황 판단의 논리를 인코딩합니다. (구현상 20개의 어휘 길이 차지)
새로운 특수 토큰 추가가 VLM의 기존 지식을 훼손하는 것을 막기 위해, 기존 어휘(Vocabulary) 집합을 재활용하여 잠재 토큰을 맵핑하는 엔지니어링 전략을 취했습니다.

네트워크 구조와 메커니즘 디테일

OneVL은 메인 VLM과 두 개의 보조 디코더로 구성됩니다. 두 보조 디코더는 메인 VLM이 출력한 잠재 토큰 위치의 은닉 상태(Hidden states)를 입력받습니다.

언어 보조 디코더 ( $D_l$ ): 현재 프레임의 ViT 패치 임베딩 행렬 $V$ 와 언어 잠재 토큰의 은닉 상태 $H_l$ 을 MLP $W_l$ 로 변환 후 결합하여 다중 모달 입력 $Z_l = [W_l(V), W_l(H_l)]$ 을 구성합니다. 이를 바탕으로 인간이 읽을 수 있는 정답 CoT 텍스트 $T_{yt}$ 를 자율회귀적으로 복원하며 손실 함수 $L_l$ 을 계산합니다.

L_l = -\sum_{i=1}^{|T_{yt}|} \log P_{D_l}(T_{yt,i} | Z_l, T_{yt,<i})

시각 보조 디코더 ( $D_v$ ): 세계 모델(World Model)의 역할을 수행합니다. 동일하게 시각 잠재 토큰 은닉 상태 $H_v$ 를 결합하여 $Z_v = [W_v(V), W_v(H_v)]$ 를 생성한 뒤, 미래 시점( $t+0.5s, t+1.0s$ )의 시각적 토큰을 예측하도록 훈련되어 손실 함수 $L_v$ 를 계산합니다.

L_v = -\sum_{i=1}^{|T_{yv}|} \log P_{D_v}(T_{yv,i} | Z_v, T_{yv,<i})

전체 결합 목적 함수는 궤적 예측 손실 $L_{CE}$ 와 두 디코더의 손실을 합산한 형태입니다.

L = L_{CE} + \lambda_v L_v + \lambda_l L_l

학습 (Training) 및 추론 (Inference) 파이프라인

[학습 파이프라인] 이중 보조 디코더 최적화를 위해 안정적인 3단계 학습 파이프라인(3-Stage Training)을 도입했습니다.

Stage 0 (메인 모델 웜업): 궤적 예측( $L_{CE}$ )만으로 메인 VLM을 엔드투엔드 학습시킵니다. 이 과정에서 잠재 토큰 위치가 궤적 예측에 유의미한 표현을 담도록 어텐션 경로를 형성합니다.
Stage 1 (보조 디코더 웜업): 메인 VLM을 동결(Freeze)합니다. 형성된 잠재 표현을 바탕으로 $D_l$ 과 $D_v$ 만을 학습시켜 잠재 공간과 미래 예측/언어 생성 간의 매핑을 안정화합니다.
Stage 2 (결합 미세조정): 전체 네트워크 가중치를 활성화하여 결합 손실 $L$ 로 훈련합니다. 예측, 언어, 시각 감독 신호가 메인 모델의 잠재 병목으로 역전파되어 강력한 범용적 표현을 형성합니다.

[추론 단계]
실제 자율주행 시점에서는 보조 디코더( $D_l, D_v$ )를 시스템에서 완전히 제거합니다. 대신, 잠재 토큰을 모델의 입력 프롬프트(Context)에 하드코딩하듯 밀어 넣는 사전 채우기(Prefill) 방식을 사용합니다. 트랜스포머 아키텍처는 Prefill 단계의 토큰들을 한 번의 병렬 포워드 패스(Single parallel pass)로 연산하므로, 순차적인 생성을 건너뛰고 정답만 예측하는 방식과 동일한 극소의 지연 시간만을 소비하여 최종 궤적을 산출합니다.

3. 실험 결과 (Experiments)

평가 환경 및 베이스라인

데이터셋: NAVSIM, ROADWork, Impromptu, APR1의 4가지 대규모 자율주행 벤치마크 사용.
베이스라인: 추론 없이 궤적만 내뱉는 모델(AR Answer), 순차적으로 텍스트 CoT를 모두 생성하는 모델(AR CoT+Answer), 그리고 기존 텍스트 기반 잠재 CoT 방법론(COCONUT, CODI, SIM-CoT)들과 비교.

핵심 성능 및 해석

SOTA 달성 및 지연 시간 단축: NAVSIM 벤치마크 기준, OneVL은 88.84 PDM-score를 기록해 기존 최고 성능인 AdaThinkDrive(86.20)를 능가했습니다. 특히, 놀라운 점은 명시적 CoT (AR CoT+Answer, 88.29)의 성능을 잠재 기법이 추월한 최초의 사례라는 것입니다. 이때 지연 시간은 4.46초로, 명시적 CoT(6.58초) 대비 월등히 빠르며 정답만 뱉어내는 모델(4.49초)과 사실상 동일합니다.
기존 잠재 방법론의 실패 요인: 시각적 세계 모델의 개입 없이 단순 텍스트로만 잠재 토큰을 감독한 기존 방법(SIM-CoT 등)은 84점대로 궤적 예측에 참패했습니다. 이는 텍스트 압축만으로는 공간적 제약을 포착하지 못함을 실험적으로 증명합니다.
어블레이션 스터디 (기여도 해석): 언어 보조 디코더 제거 시 성능은 0.31 하락하지만, 시각 보조 디코더 제거 시 성능은 0.87로 더 크게 하락했습니다. 이는 자율주행 궤적 예측에 있어서 미래 프레임을 상상하는 물리적 인과 관계 훈련이 단순 언어 논리보다 더 본질적이고 강력한 기여를 함을 보여줍니다. 3단계 파이프라인 생략 시 점수는 67.13으로 붕괴되었으며, 이는 복잡한 다중 목표 최적화에서 단계별 정렬이 필수적임을 입증합니다.

4. 한계점 및 시사점

명확한 한계와 엔지니어링적 과제

학습 비용 (메모리 제약): 학습 단계에서 메인 VLM 외에도 그에 상응하는 크기를 가진 두 개의 보조 디코더 인스턴스를 동시에 메모리에 올려야 하므로, 기존 대비 약 3배의 VRAM 및 컴퓨팅 자원이 소모됩니다.
자율회귀 방식의 잔존: 잠재 토큰의 생성은 Prefill로 한 번에 처리하지만, 최종 궤적 결과값 도출 자체는 여전히 자율회귀(AR)를 따릅니다. 논문은 이를 극복하기 위해 MLP 회귀 헤드를 부착하여 0.24초(약 4.16Hz)의 극단적 추론 속도를 실험했으나, 이 경우 정확도 성능이 AR 방식보다 약간 하락하는 트레이드오프(Trade-off)가 존재함을 밝혔습니다.

연구의 의의와 향후 방향

본 연구는 정보 이론의 "압축이 곧 지능이자 일반화(Compression is generalization)"라는 원칙을 멀티모달 자율주행 모델에 구조적으로 구현해 냈다는 점에서 큰 학술적 의미를 갖습니다. 언어의 추상성에만 기대지 않고 세계 모델 기반의 물리적 제약을 잠재 공간에 강제로 주입하는 방식을 통해 정확성과 실시간성이라는 두 마리 토끼를 잡았습니다. 향후 다중 카메라 입력을 적용한 360도 미래 예측 및 실시간 피드백이 가능한 HMI(인간-기계 인터페이스) 시스템으로 확장될 잠재력이 매우 큽니다.

김성윤(Jack)

AI 공부합니다

이전 포스트

[논문 리뷰] VLA-Adapter: An Effective Paradigm for Tiny-Scale Vision-Language-Action Model

다음 포스트