Series 02 이후, 새로운 질문
Series 02에서 살펴본 OpenVLA-OFT는 VLA 모델을 실제 로봇에서 빠르고 안정적으로 동작하게 만드는 데 성공했다.
그러나 여기서 한 가지 근본적인 질문이 남는다.
“LIBERO에서 성공률이 높다는 것은, 정말로 일반화된 로봇 지능을 의미하는가?”
LIBERO-Plus는 바로 이 질문을 검증하기 위해 제안된 Robustness 중심 벤치마크다.
핵심 키워드
- LIBERO-Plus
- Robustness Benchmark
- Perturbation Analysis
- Compositional Generalization
- Language Grounding
연구 문제 (Why LIBERO-Plus?)
기존의 로봇 벤치마크는 대부분
- 고정된 카메라 시점
- 고정된 초기 로봇 상태
- 제한적인 환경 변화
를 전제로 한다. 이러한 설정에서는 모델이 진짜로 일반화된 정책이 아니라, 환경의 편향을 암기했을 가능성이 크다.
LIBERO-Plus의 목표는 명확하다.
“성공률이 아니라, 실패가 언제 발생하는지를 보자.”
핵심 아이디어
LIBERO-Plus는 기존 LIBERO 태스크 위에 체계적인 환경 교란(perturbation)을 추가한다.
- 단일 요인 변화에 대한 강건성 평가
- 복수 요인 결합 시 성능 붕괴 분석
- 언어 지시를 실제로 사용하는지 검증
이를 통해 단순 평균 성공률이 아닌, 일반화의 구조적 한계를 드러낸다.
LIBERO-Plus 구성
LIBERO-Plus는 총 7개의 perturbation factor를 정의한다.
- Camera viewpoint
- Robot initial state
- Object layout
- Language variation
- Lighting
- Background
- Sensor noise
이 조합으로 총 10,030개의 변형 태스크가 생성된다.
언어를 정말 사용하는가?
LIBERO-Plus는 언어 grounding을 검증하기 위해 다음과 같은 실험을 수행한다.
- Instruction 제거
- Instruction은 유지하되 target object 변경
놀랍게도 일부 VLA 모델은 언어 지시가 제거되거나 잘못되었음에도 높은 성공률을 유지한다.
이는 모델이 언어를 “이해”하는 것이 아니라, 환경 통계에 의존하고 있음을 의미한다.
조합 일반화 붕괴 (Compositional Generalization)
단일 perturbation에서는 성능 저하가 크지 않지만, 두 개 이상의 perturbation이 결합되면 성능은 급격히 붕괴된다.
논문에서는 이를 조합 일반화 격차로 정의한다.
이는 현재 VLA 모델들이 독립적인 변화에만 강건하며, 복합적인 현실 환경에는 취약함을 보여준다.
난이도 증가에 따른 성능 변화
Perturbation의 강도를 단계적으로 증가시키면, 성능은 비선형적으로 급락한다.
특히 camera viewpoint와 robot initial state 변화는 가장 큰 성능 저하를 유발한다.
실험 결과 요약
- 언어 perturbation에는 상대적으로 강건
- 시각·기하학적 변화에 극도로 취약
- 복수 perturbation 조합 시 성능 붕괴
이는 “VLA 모델이 언어 중심 지능”이라는 직관과는 다른 결과다.
해석과 의미
LIBERO-Plus는 단순히 새로운 벤치마크가 아니다.
“높은 성공률 = 일반화”라는 가정을 무너뜨린다.
이 결과는 이후 등장하는
- dVLA (사고 중심 모델)
- Hybrid Training (현실적 추론 구조)
이 왜 필요한지를 설명해주는 결정적인 근거가 된다.
한 줄 요약
LIBERO-Plus는 VLA 모델의 성능이 아니라, 그 한계를 정확히 드러낸다.
👉 다음 글: [VLA Series 04] dVLA – Diffusion과 Chain-of-Thought 기반 로봇 지능
