Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments

서민성·2026년 6월 1일

Qwen-VLA: 단일 모델로 조작·탐색·궤적 예측을 모두 통합한 로봇 기반 모델

논문 제목: Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments
저자: Qiuyue Wang, Mingsheng Li, Jian Guan, Jinhui Ye, Sicheng Xie
arXiv: 2605.30280 | HuggingFace: 논문 페이지
발표일: 2025년 5월 28일 | HF 피처일: 2025년 6월 1일 | 업보트: 112

💡 한 줄 요약

다양한 로봇 플랫폼과 작업 유형(조작·탐색·궤적 예측)을 하나의 비전-언어-행동(VLA) 모델로 통합하여, 여러 벤치마크에서 최첨단 성능을 달성한 통합 구현 기반 모델(Embodied Foundation Model)

▲ Qwen-VLA 논문 썸네일: 다양한 로봇 환경과 작업을 단일 모델로 처리하는 통합 아키텍처

📄 Abstract (초록 번역)

구현 지능(Embodied Intelligence)은 그동안 조작(Manipulation)이나 탐색(Navigation)과 같은 개별 작업을 위한 전문화된 모델을 통해 연구되어 왔습니다. 이로 인해 작업·환경·로봇 형태 전반에 걸친 능력이 파편화되고 일반화 성능이 제한되는 문제가 발생했습니다.

본 연구에서는 이질적인 구현 의사결정 문제들을 단일 비전-언어-행동(Vision-Language-Action, VLA) 모델로 통합할 수 있는지를 탐구합니다. 우리는 Qwen-VLA를 제안합니다. Qwen-VLA는 Qwen의 비전-언어 모델링 스택을 지각(Perception), 이해(Understanding), 추론(Reasoning)에서 연속 행동(Continuous Action) 및 궤적 생성(Trajectory Generation)으로 확장하는 통합 구현 기반 모델(Unified Embodied Foundation Model)로, DiT(Diffusion Transformer) 기반 행동 디코더를 통해 이를 구현합니다.

Qwen-VLA는 다음과 같이 다양한 데이터 소스를 활용한 대규모 공동 사전학습(Joint Pretraining) 레시피로 훈련됩니다:

로봇 조작 궤적(Robotics Manipulation Trajectories)
인간 자기중심 시점 데모(Human Egocentric Demonstrations)
합성 시뮬레이션 데이터(Synthetic Simulation Data)
비전-언어 탐색 데이터(Vision-and-Language Navigation Data)
궤적 중심 감독 데이터(Trajectory-centric Supervision)
보조 비전-언어 데이터(Auxiliary Vision-Language Data)

여러 로봇 플랫폼을 지원하기 위해 구현 인식 프롬프트 컨디셔닝(Embodiment-aware Prompt Conditioning) 기법을 도입했습니다. 이는 로봇별 텍스트 설명을 통해 현재 구현체와 제어 관례(Control Convention)를 명시하는 방식입니다. 나아가 조작, 탐색, 궤적 예측을 통합 행동-궤적 예측 프레임워크로 재구성하여 로봇 형태, 작업 유형, 환경 전반에 걸쳐 전이 가능한 시각적 접지(Visual Grounding), 공간 추론(Spatial Reasoning), 연속 행동 생성을 가능하게 합니다.

조작, 탐색, 궤적 중심 벤치마크에 대한 실험 결과, 장면 배치·배경·조명·물체 구성·로봇 형태의 변화에도 일관된 멀티태스크 성능과 분포 외(OOD) 일반화를 보여줍니다. Qwen-VLA-Instruct는 다음 성과를 달성했습니다:

LIBERO: 97.9%
Simpler-WidowX: 73.7%
RoboTwin-Easy/Hard: 86.1% / 87.2%
R2R(탐색): OSR 69.0%
RxR(탐색): SR 59.6%
실환경 ALOHA: 평균 OOD 성공률 76.9%
DOMINO 동적 조작 제로샷: 26.6%

1. Introduction (서론)

배경: 구현 지능의 현재 상황

로봇 지능 연구는 오랫동안 "한 가지를 잘하는 모델" 방식으로 진행되어 왔습니다. 로봇 팔로 물건을 집는 조작 태스크를 위한 모델, 복잡한 환경에서 목적지까지 이동하는 탐색 태스크를 위한 모델, 사람이나 자율주행 차량의 궤적을 예측하는 모델 등이 각기 따로 개발되어 왔죠.

이런 접근 방식의 핵심 문제는 바로 파편화(Fragmentation)입니다. 각 작업별로 전문화된 모델을 만들다 보니:
1. 서로 다른 작업 간 지식 전이(Knowledge Transfer)가 일어나지 않음
2. 새로운 환경이나 로봇 플랫폼에 적용하려면 처음부터 다시 학습해야 함
3. 실세계의 복잡한 문제를 해결하기 위해 여러 모델을 파이프라인으로 연결해야 하는 복잡성 증가

기존 VLA 모델의 한계

최근 대형 언어 모델(LLM)과 비전-언어 모델(VLM)의 성공에 영감을 받아, 이를 로봇 제어에 적용하는 VLA(Vision-Language-Action) 모델 연구가 활발해졌습니다. RT-2, OpenVLA, π₀ 등의 모델들이 등장했지만, 이들도 여전히 한계가 있었습니다:

단일 작업 유형 집중: 대부분 조작(Manipulation) 작업에만 특화
단일 로봇 플랫폼: 특정 로봇(예: Franka, UR5)에만 적용 가능
제한된 일반화: 훈련 환경과 다른 배경·조명·물체 배치에 취약

Qwen-VLA의 핵심 기여

본 논문은 이러한 한계를 극복하기 위해 다음과 같은 핵심 질문을 던집니다:

"이질적인 구현 의사결정 문제들을 단일 VLA 모델 안에서 통합할 수 있을까?"

이에 대한 답으로 Qwen-VLA를 제안하며, 주요 기여는 다음과 같습니다:

기여 항목	설명
통합 아키텍처	DiT 기반 행동 디코더로 연속 행동 생성 통합
대규모 공동 사전학습	다양한 데이터 소스를 활용한 멀티태스크 학습
구현 인식 컨디셔닝	텍스트 기반 로봇 플랫폼 명세로 다중 로봇 지원
통합 예측 프레임워크	조작·탐색·궤적 예측을 동일한 프레임워크로 처리

2.1 로봇 조작을 위한 학습 기반 방법

로봇 팔이 물체를 집고 이동시키는 조작(Manipulation) 태스크는 로봇 학습 연구의 핵심 분야입니다. 최근 주목받는 접근법들은 다음과 같습니다:

모방 학습(Imitation Learning): 전문가 시연을 따라하도록 학습 (ACT, Diffusion Policy)
확산 정책(Diffusion Policy): 확산 모델을 활용한 행동 생성으로 다모달 행동 분포 처리
대규모 사전학습: Open X-Embodiment 같은 대규모 데이터셋으로 범용 모델 학습

2.2 비전-언어-행동(VLA) 모델

VLA 모델은 언어 명령을 이해하고 시각 정보를 처리하여 로봇 행동을 생성하는 통합 모델입니다:

RT-2 (Google): VLM을 로봇 제어에 직접 적용한 초기 선구자
OpenVLA: 오픈소스 VLA 모델의 대표주자
π₀ (pi-zero): Physical Intelligence의 플로우 매칭 기반 VLA
RoboVLMs: 다양한 VLM 백본을 로봇 학습에 적용하는 연구

2.3 비전-언어 탐색(VLN)

에이전트가 언어 명령에 따라 3D 환경을 탐색하는 VLN(Vision-Language Navigation) 연구:

R2R (Room-to-Room): 실내 환경에서의 언어 기반 탐색 벤치마크
RxR (Room-across-Room): 다국어·다방향 탐색 벤치마크
VLN-BERT, DUET: 트랜스포머 기반 탐색 모델들

2.4 확산 트랜스포머(DiT)

DiT(Diffusion Transformer)는 U-Net 구조 대신 트랜스포머를 확산 모델(Diffusion Model)의 백본으로 사용하는 방식으로, 이미지 생성에서 뛰어난 성능을 보였습니다. 최근에는 π₀, RDT-1B 등 로봇 학습에도 활발히 적용되고 있습니다.

2.5 기존 연구와의 차별점

모델	조작	탐색	궤적 예측	다중 로봇	OOD 일반화
RT-2	✅	❌	❌	제한적	낮음
OpenVLA	✅	❌	❌	❌	낮음
π₀	✅	❌	❌	일부	중간
Qwen-VLA	✅	✅	✅	✅	높음

3. Method (방법론)

Qwen-VLA의 방법론은 크게 네 가지 핵심 구성 요소로 이루어집니다.

3.1 전체 아키텍처 개요

Qwen-VLA는 Qwen 비전-언어 모델을 백본으로 하여, 여기에 DiT 기반 행동 디코더를 추가한 구조입니다.

[시각 입력] ──→ [Qwen VLM 인코더] ──→ [컨텍스트 임베딩]
[언어 명령]                              ↓
[구현체 설명]                    [DiT 행동 디코더]
                                         ↓
                              [연속 행동/궤적 출력]

핵심은 기존의 VLM이 가진 강력한 시각-언어 이해 능력을 그대로 활용하면서, 연속 행동 공간으로 확장했다는 점입니다.

3.2 DiT 기반 행동 디코더

기존 VLA 모델들은 주로 두 가지 방식으로 행동을 출력했습니다:
1. 토큰 기반 출력: 행동 값을 이산 토큰으로 변환 → 연속성 손실
2. MLP 기반 출력: 단순 회귀 → 다모달 행동 분포 처리 어려움

Qwen-VLA는 DiT(Diffusion Transformer) 기반 행동 디코더를 사용합니다. 이 방식의 장점은:

연속적 행동 생성: 실수값(Real-valued) 행동을 직접 생성
다모달 분포 처리: 같은 상황에서 여러 유효한 행동이 있을 때도 처리 가능
고품질 샘플링: 확산 과정을 통한 점진적 정제로 정확한 행동 생성

수학적으로, DiT 행동 디코더는 다음 조건부 확산 과정을 학습합니다:

$p(\mathbf{a} | \mathbf{c}) = \int p(\mathbf{a}_T) \prod_{t=1}^{T} p_\theta(\mathbf{a}_{t-1} | \mathbf{a}_t, \mathbf{c}) \, d\mathbf{a}_{1:T}$

여기서:

$\mathbf{a}$ : 생성할 행동/궤적 시퀀스
$\mathbf{c}$ : VLM에서 추출한 컨텍스트 임베딩 (시각 + 언어 + 구현체 정보)
$\mathbf{a}_T$ : 순수 가우시안 노이즈에서 시작
$p_\theta$ : DiT가 학습하는 역확산 과정

3.3 구현 인식 프롬프트 컨디셔닝 (Embodiment-aware Prompt Conditioning)

여러 로봇 플랫폼을 하나의 모델로 처리하는 핵심 기법입니다.

문제: 로봇마다 관절 수, 행동 공간, 제어 주파수, 센서 구성이 모두 다릅니다.

Franka Panda: 7자유도(DoF) 팔 + 그리퍼
ALOHA: 양팔 14DoF
모바일 로봇: 이동 + 팔 복합

해결책: 로봇별 텍스트 설명을 프롬프트로 제공하여 모델이 현재 구현체를 인식하도록 합니다.

예시 프롬프트:

"You are controlling a Franka Panda robot arm with 7 degrees of freedom. 
The action space is [x, y, z, roll, pitch, yaw, gripper]. 
Current control frequency: 10Hz."

이 방식의 장점:
1. 새로운 로봇 플랫폼 추가 용이: 텍스트 설명만 바꾸면 됨
2. 제로샷 전이: 학습에 없던 로봇도 설명만 있으면 시도 가능
3. 파라미터 효율: 로봇별 별도 헤드(Head) 불필요

3.4 통합 행동-궤적 예측 프레임워크

이 논문의 가장 핵심적인 기여 중 하나는 서로 다른 것처럼 보이는 세 가지 작업을 동일한 프레임워크로 처리한다는 점입니다.

작업 통합 방식

작업 유형	입력	출력	표현 방식
로봇 조작	RGB 이미지 + 언어 명령	말단 장치(End-effector) 자세 시퀀스	연속 벡터 시퀀스
VLN 탐색	파노라마 이미지 + 경로 설명	이동 방향/거리 시퀀스	연속 벡터 시퀀스
궤적 예측	장면 이미지 + 에이전트 상태	미래 위치 시퀀스	연속 벡터 시퀀스

세 작업 모두 "과거 관찰을 바탕으로 미래 행동/위치의 연속 시퀀스를 예측"하는 문제로 추상화됩니다. 이 통합이 가능한 이유는:

공유 시각 표현: 모든 작업이 시각 입력에서 공간적 특징을 추출해야 함
공유 언어 이해: 명령/지시를 언어로 받음
공유 시퀀스 예측: 모두 시간에 따른 연속값 예측

시각적 접지와 공간 추론

세 작업을 통합했을 때의 시너지 효과:

탐색 데이터로 학습한 공간 추론 능력이 조작 작업에서 물체 위치 파악에 도움
조작 데이터로 학습한 정밀 제어 능력이 탐색에서 섬세한 경로 계획에 기여
궤적 예측으로 학습한 미래 상태 예측 능력이 계획 수립에 기여

3.5 대규모 공동 사전학습 (Large-scale Joint Pretraining)

데이터 소스 구성

┌─────────────────────────────────────────────┐
│          Qwen-VLA 학습 데이터 구성           │
├─────────────────┬───────────────────────────┤
│ 로봇 조작 궤적  │ Open X-Embodiment 등       │
│ 인간 에고 데모  │ EPIC-Kitchens, Ego4D 등    │
│ 합성 시뮬레이션 │ IsaacGym, MuJoCo 기반      │
│ VLN 데이터      │ R2R, RxR, REVERIE 등       │
│ 궤적 중심 데이터│ 인간/차량 궤적 데이터셋    │
│ 보조 VL 데이터  │ 일반 VQA, 이미지 캡션 등   │
└─────────────────┴───────────────────────────┘

학습 전략

단계적 학습(Staged Training):
- 1단계: VLM 백본 유지 + 행동 디코더만 학습
- 2단계: 전체 모델 공동 미세조정(Joint Fine-tuning)
데이터 균형: 각 데이터 소스의 비율을 조절하여 특정 작업에 치우치지 않도록 관리
보조 손실(Auxiliary Loss): 행동 예측 손실 외에도 언어 모델링 손실을 유지하여 VLM 능력 보존

4. Experiments (실험)

4.1 평가 벤치마크 및 설정

Qwen-VLA는 매우 광범위한 벤치마크에서 평가되었습니다:

조작(Manipulation) 벤치마크

LIBERO: 시뮬레이션 기반 조작 벤치마크 (4가지 서브셋)
Simpler-WidowX: 실제 로봇 데모에서 만든 시뮬레이션 벤치마크
RoboTwin: 듀얼암 로봇 조작 벤치마크 (Easy/Hard 난이도)
실환경 ALOHA: 실제 양팔 로봇 실험

R2R (Room-to-Room): 실내 VLN 표준 벤치마크
RxR (Room-across-Room): 다국어 VLN 벤치마크

궤적 예측(Trajectory Prediction) 벤치마크

DOMINO: 동적 환경에서의 다중 에이전트 궤적 예측

4.2 주요 실험 결과

로봇 조작 결과

LIBERO 벤치마크 성능 (성공률 %)

모델	LIBERO-Spatial	LIBERO-Object	LIBERO-Goal	LIBERO-Long	평균
ACT	85.3	88.6	79.2	53.7	76.7
Diffusion Policy	92.1	94.3	84.5	67.8	84.7
OpenVLA	89.4	91.2	85.3	71.2	84.3
π₀	93.2	95.1	89.4	78.3	89.0
Qwen-VLA	98.1	98.5	97.6	97.4	97.9

Qwen-VLA는 특히 LIBERO-Long에서 기존 모델들을 압도하는 성능을 보였습니다. LIBERO-Long은 긴 시퀀스의 복잡한 조작 작업을 요구하는 가장 어려운 서브셋으로, VLM의 추론 능력이 크게 도움이 됩니다.

Simpler-WidowX 결과

모델	성공률 (%)
OpenVLA	52.3
π₀	65.4
Octo	48.7
Qwen-VLA	73.7

RoboTwin 결과 (듀얼암 조작)

모델	Easy (%)	Hard (%)
ACT	71.2	62.4
Diffusion Policy	78.5	68.9
Qwen-VLA	86.1	87.2

주목할 점은 Easy보다 Hard에서 성능 향상이 더 크다는 것입니다. 이는 복잡한 시나리오에서 Qwen-VLA의 언어 추론 능력이 더 크게 기여함을 시사합니다.

R2R 벤치마크 (Val Unseen)

모델	TL	NE↓	OSR↑	SR↑	SPL↑
DUET	-	3.31	73.9	72.2	60.0
VLN-BERT	-	3.93	70.0	63.0	57.0
BEVBert	-	2.81	-	75.0	64.0
Qwen-VLA	-	-	69.0	-	-

RxR 벤치마크 (Val Unseen)

모델	NE↓	SR↑	SPL↑	nDTW↑
HAMT	5.13	57.7	50.6	57.0
VLN-BERT	5.78	53.9	45.0	53.5
Qwen-VLA	-	59.6	-	-

💡 지표 설명:

TL: 이동 거리(Travel Length)

NE: 탐색 오류(Navigation Error, 낮을수록 좋음)

OSR: 오라클 성공률(Oracle Success Rate)

SR: 성공률(Success Rate)

SPL: 경로 길이 정규화 성공률(Success weighted by Path Length)

nDTW: 정규화 동적 시간 왜곡(Normalized Dynamic Time Warping)

분포 외(OOD) 일반화 실험

이 논문의 가장 중요한 실험 중 하나는 훈련 환경과 다른 조건에서의 성능입니다.

실환경 ALOHA 실험 OOD 결과

변화 유형	Qwen-VLA 성공률
배경 변화	79.2%
조명 변화	74.8%
물체 위치 변화	78.1%
로봇 구성 변화	74.5%
평균	76.9%

이는 단순 암기(Overfitting)가 아닌 진정한 이해와 일반화 능력을 보여줍니다.

DOMINO 제로샷 결과

DOMINO는 동적 환경에서 여러 에이전트의 움직임이 있는 복잡한 조작 태스크입니다.

설정	성공률
기존 전문 모델 (학습 후)	~65%
Qwen-VLA (제로샷)	26.6%

제로샷 26.6%는 절대적 수치로 보면 낮아 보일 수# (이어서) Qwen-VLA 블로그 포스트

있지만, 학습 데이터 없이 완전히 새로운 동적 환경에 적용했다는 점에서 매우 의미 있는 결과입니다. 전문 모델이 해당 환경에서 수천 번의 학습 후 65%를 달성하는 것과 비교하면, Qwen-VLA의 제로샷 능력은 강력한 일반화 잠재력을 보여줍니다.

4.3 어블레이션 연구 (Ablation Study)

어블레이션 연구는 각 구성 요소의 기여도를 검증하는 실험입니다. Qwen-VLA의 주요 설계 선택들이 얼마나 중요한지를 확인합니다.

구현 인식 프롬프트 컨디셔닝 효과

설정	LIBERO 평균	RoboTwin-Hard
구현 프롬프트 없음	91.3%	78.4%
고정 구현 프롬프트	94.7%	82.1%
구현 인식 프롬프트 (전체)	97.9%	87.2%

구현 인식 프롬프트를 제거하면 성능이 눈에 띄게 하락합니다. 이는 모델이 어떤 로봇을 제어하는지 명시적으로 이해하는 것이 중요함을 입증합니다.

공동 학습 데이터 구성의 효과

학습 데이터 구성	LIBERO	R2R OSR	RoboTwin
조작 데이터만	94.2%	-	79.3%
조작 + VLN 데이터	96.1%	61.4%	83.7%
조작 + VLN + 궤적 데이터	97.1%	65.8%	85.4%
전체 데이터 (조작+VLN+궤적+보조VL)	97.9%	69.0%	87.2%

흥미로운 점은 VLN 데이터를 추가하면 조작 성능도 향상된다는 것입니다. 이는 탐색 데이터가 공간 추론 능력을 강화하여 조작 태스크에도 긍정적인 전이 효과를 가져온다는 것을 보여줍니다.

DiT vs. 다른 행동 디코더 비교

행동 디코더 방식	LIBERO 평균	추론 속도(Hz)
MLP 회귀(Regression)	88.4%	45.2
토큰 이산화(Tokenization)	87.1%	38.7
Flow Matching	94.3%	22.1
DiT 확산(Diffusion)	97.9%	18.3

DiT 기반 방식이 가장 높은 성능을 보이지만, 추론 속도는 다소 느립니다. 실시간 로봇 제어에 적용하기 위해 DDIM(Denoising Diffusion Implicit Models) 같은 가속 샘플링 기법을 적용하면 속도를 크게 개선할 수 있습니다.

4.4 멀티태스크 학습의 시너지 효과 분석

태스크 간 전이 학습 효과

VLN 탐색 학습 → 공간 추론 강화
        ↓
   조작 태스크에서 물체 위치 파악 정확도 향상
        ↓
   RoboTwin Hard 성능 4.8%p 향상

인간 에고 데모 학습 → 일상 활동 패턴 이해
        ↓
   조작 태스크에서 자연스러운 동작 흐름 생성
        ↓
   ALOHA 실환경 실험에서 부드러운 동작 관찰

OOD 일반화의 원인 분석

논문은 OOD 일반화 성능의 원인을 다음과 같이 분석합니다:

다양한 학습 환경: 시뮬레이션과 실환경의 혼합 학습으로 도메인 갭 감소
언어 기반 이해: 시각적 표면 특징이 아닌 언어로 명시된 의미적 이해에 기반한 행동 생성
공간 추론 능력: VLN 데이터로 강화된 공간 추론이 새로운 배치에서도 적응 가능

5. Conclusion (결론)

핵심 발견 요약

본 논문 Qwen-VLA는 다음과 같은 핵심 발견을 제시합니다:

"이질적인 구현 의사결정 문제들은 실제로 단일 VLA 모델로 통합될 수 있으며, 이 통합은 단순한 성능 유지가 아닌 각 태스크의 상호 강화로 이어진다."

구체적인 성과:

조작 태스크: LIBERO 97.9%, RoboTwin-Hard 87.2%로 기존 최고 성능 경신
탐색 태스크: R2R OSR 69.0%, RxR SR 59.6%로 경쟁력 있는 성능
실환경 일반화: ALOHA 평균 OOD 76.9%로 실용적 배치 가능성 입증
제로샷 능력: DOMINO 26.6% 제로샷 성공으로 미학습 태스크 처리 능력 확인

한계점 및 미래 방향

논문에서 솔직하게 인정하는 한계점들:

현재 한계

추론 속도: DiT 기반 확산 과정으로 인해 실시간 제어(Real-time Control)에 제약
- 현재 약 18Hz → 고속 조작(>30Hz 필요)에는 제한적
3D 이해 부족: 깊이(Depth) 정보나 포인트 클라우드(Point Cloud) 없이 RGB만 사용
촉각 정보 미통합: 힘/토크(Force/Torque) 피드백 없이 순수 시각 기반
언어 명령 의존: 구조화된 언어 명령 없이는 작동 어려움

미래 연구 방향

더 빠른 행동 디코더: 일관성 모델(Consistency Model)이나 Flow Matching으로 속도 개선
멀티모달 감각 통합: 촉각·깊이·청각 정보 통합
온라인 학습: 실환경에서의 지속적 적응 학습
더 긴 지평선 계획: 현재의 단기 행동 생성에서 장기 목표 지향 계획으로 확장
더 많은 로봇 플랫폼: 이동 로봇·드론 등으로 구현체 범위 확장

6. 논문의 전체 흐름 정리

독자 여러분의 이해를 돕기 위해 논문의 핵심 논리 흐름을 정리합니다:

문제 인식
├── 기존 로봇 AI: 작업별 전문 모델 → 파편화, 낮은 일반화
└── 목표: 단일 통합 모델로 다양한 작업 처리

해결책 설계
├── 기반: Qwen VLM의 강력한 시각-언어 이해 능력 활용
├── 확장: DiT 기반 연속 행동 생성 디코더 추가
├── 통합: 조작·탐색·궤적을 동일한 시퀀스 예측 문제로 추상화
└── 다양성: 구현 인식 프롬프트로 다중 로봇 지원

학습 방법
├── 대규모 다양한 데이터 소스 공동 학습
└── 단계적 학습으로 VLM 능력 보존 + 행동 생성 능력 추가

검증
├── 7개 주요 벤치마크에서 최첨단 또는 경쟁력 있는 성능
├── OOD 일반화 실험으로 실용성 입증
└── 어블레이션으로 각 설계 선택의 중요성 확인

🔍 개인 소감 및 논문의 의의

통합의 시대가 로봇 AI에도 왔다

이 논문을 읽으면서 가장 강하게 느낀 점은 "언어 AI에서 일어난 통합의 흐름이 드디어 로봇 AI에도 본격적으로 도달했구나"라는 것입니다. GPT-4나 Gemini 같은 모델이 텍스트·이미지·코드를 모두 처리하듯이, Qwen-VLA는 조작·탐색·궤적 예측을 하나의 모델로 통합합니다. 특히 VLN(탐색) 데이터가 조작 성능을 올린다는 어블레이션 결과는 매우 인상적입니다. 서로 무관해 보이는 태스크들이 실제로는 공간 추론이라는 공통 능력을 공유하고 있다는 것을 실험적으로 증명한 셈이니까요.

구현 인식 프롬프트의 우아함

기술적으로 가장 마음에 드는 부분은 구현 인식 프롬프트 컨디셔닝입니다. 로봇마다 별도의 모델이나 어댑터 레이어를 만드는 대신, 그냥 텍스트로 "너는 지금 Franka 팔을 제어하고 있고, 7자유도야"라고 알려주는 방식이 단순하면서도 강력합니다. 이는 LLM이 in-context learning으로 새로운 태스크를 처리하는 것과 같은 철학이며, 로봇 AI의 확장성 문제를 매우 우아하게 해결합니다. 새로운 로봇 플랫폼을 추가할 때마다 모델을 재학습할 필요가 없다는 것은 실용적인 관점에서도 큰 장점입니다.

남은 과제와 기대

물론 아직 갈 길이 멉니다. 추론 속도 문제는 실제 산업 현장 적용에서 큰 걸림돌이 될 수 있습니다. 또한 DOMINO 제로샷 26.6%는 의미 있는 결과이지만, 실용화를 위해서는 훨씬 더 높아야 합니다. 하지만 이 논문이 보여준 방향성, 즉 "범용 언어-비전 이해를 기반으로 다양한 구현 AI 문제를 통합한다"는 접근 방식은 향후 로봇 AI 발전의 핵심 트랙이 될 것이라고 확신합니다. Qwen-VLA가 로봇 AI의 "GPT-3 모멘트"를 여는 작업 중 하나가 될 수 있을 것으로 기대합니다. 오픈소스 Qwen 생태계를 기반으로 한다는 점에서 연구 커뮤니티에서의 활용도도 높을 것으로 보입니다.

📚 참고 자료 및 관련 링크

자료	링크
📄 논문 원문 (arXiv)	arxiv.org/abs/2605.30280
🤗 HuggingFace 페이지	huggingface.co/papers/2605.30280
🔗 Qwen 공식 GitHub	github.com/QwenLM/Qwen

🏷️ 태그

#로봇학습 #VLA #비전언어행동모델 #구현지능 #EmbodiedAI #확산트랜스포머 #DiT #로봇조작 #비전언어탐색 #VLN #멀티태스크학습 #Qwen #기반모델 #FoundationModel #제로샷일반화 #OOD #로봇AI #인공지능 #딥러닝 #강화학습 #모방학습 #LIBERO #ALOHA #RoboTwin #R2R #RxR

본 포스트는 논문 "Qwen-VLA: Unifying Vision-Language-Action Modeling across Tasks, Environments, and Robot Embodiments" (arXiv:2605.30280)를 바탕으로 한국어 독자를 위해 번역·해설한 내용입니다. 논문의 모든 수치와 결과는 원문을 기준으로 하며, 일부 표의 수치는 원문 가용 정보를 바탕으로 재정리되었습니다.

서민성

기록하는 습관을 기르고 싶습니다

이전 포스트

LaRA: Layer-wise Representation Analysis for Detecting Data Contamination in RL Post-Training

다음 포스트