[논문 리뷰] Act, Sense, Act: Learning Non-Markovian Active Perception Strategies from Large-Scale Egocentric Human Data

두부김치·2026년 5월 7일

논문 리뷰

목록 보기
16/26

Title : π 0.7 : Act, Sense, Act: Learning Non-Markovian Active Perception Strategies from Large-Scale Egocentric Human Data (ArXiv 2026)
논문 링크 : https://arxiv.org/pdf/2602.04600
blog: https://jern-li.github.io/asa/

1. Introduction

  • Background
    • 최근 로봇 Manipulation 분야는 Imitation Learning(IL)과 Foundation Model(VLA 등)의 발전으로 큰 성과를 거둠
    • 하지만 기존 방식은 구조화된 환경의 고정된(stationary)데이터에 의존하며, 환경이 바뀌거나 정보가 부족한 상황에서는 반응적인 움직임에 그치는 한계가 있음.
  • 핵심 문제: Perceptual Passivity(지각적 수용성)
    • 복잡하고 비구조화된 환경에서 로봇이 성공하려면 단순히 움직이는 것을 넘어, 이전 상호작용 이력을 바탕으로 의도적인 응시(intentional gazing)와 탐색(exploration)을 수행해야 함
    • 예: 도구함 깊숙이 파묻힌 렌치를 찾기 위해 주변 물체를 치우거나 시점(Viewpoint)을 변경하여 가려진 영역(occluded regions)을 확인해야 함.
  • 해결책: Active Perception(능동적 지각)
    • 지각과 행동이 긴밀하게 결합된 "Act, Sense, Act" 루프를 제안함.
    • 지각을 통해 얻은 정보가 적응적 결정(adaptive decisions)을 내리게 하고, 이 결정이 다시 지각적 모호성을 해결하기 위해 행동을 가이드하는 closed-loop process
  • 기존 연구의 한계
    • 일부 연구에서는 시점 조절을 했으나, Active Perception 제어를 단순히 추가적인 행동 차원(extra action dimension)으로만 취급함.
    • 대부분 머리 움직임(head movement)을 통한 시점 조정에만 국한되며, 신체 이동이나 물리적 조작(예: 서랍 열기)을 정보를 얻기 위한 전략적 도구로 활용하지 못함.
  • Proposed: CoMe-VLA
    • Active Perception을 정보 이득(information gain)과 의사 결정 분기(decision branching)에 의한 Non-Markovian Decision Process(NMDP)로 정형화함.
    • CoMe-VLA 프레임워크 도입: 대규모 인간 Egocentric 데이터를 활용하여 탐색 및 조작에 대한 Prior를 학습함.
    • Cognitive Auxiliary Head: 하위 작업(Sub-task)의 완료 및 전환을 감지함.
    • Dual-track Memory System: 시각 및 고유 수용성 감각(proprioceptive)정보를 융합하여 시간적 맥락(temporal context)을 유지함.
    • 인간-로봇의 hand-eye coordination을 통합된 Egocentric Action Space에서 정렬하여 3단계 점진적 학습을 수행함.

2. Related Work

  • Learning Manipulation from Human Data

    • 인간의 시연(Demonstration)은 로봇 조작을 위한 구조화된 행동과 세부적인 동작 정보를 제공하는 풍부한 원천임.
    • 기존 방식은 외부 센서나 UMI와 같은 특수 장치를 사용해 정밀한 궤적을 얻었으나, 작업 커버리지와 환경 다양성 면에서 제한적이었음.
    • 최근에는 CaptainCook4D, Ego-Exo4D와 같은 대규모 공공Egocentric 데이터셋을 활용해 visual Prior, Affordance, task semantics 등을 학습하는 추세임.
    • 하지만 대다수 연구가 Hand-centric action space 정렬에만 집중하여 시각적 관찰을 수동적인 입력으로 취급하며, 조작 중 시점을 능동적으로 선택하는 eye-hand coordination 모델링은 부족함.

  • Policy Learning with Active Perception

    • 초기 단계: 휴리스틱 기반의 전략(Next-best-view, Next-best-pose, Gaze Control 등)에 의존했으나, 시점 선택과 조작이 분리되어 있거나 보이지 않는 영역을 탐색하는 능력이 부족했음.
    • End-to-End 학습 도입: 최근 Imitation Learning을 통해 카메라 움직임을 학습 가능한 Action으로 처리하려는 시도가 있었음.
    • 현재의 한계: 대부분의 기존 연구는 Linear task execution에 국한되어 있으며, 감각(Sensing)을 단순한 head pose 확장으로만 다룸
    • 물리적 조작을 통해 가려진 정보를 찾아내거나, Perception 결과에 따라 Action 결정이 달라지는 Decision Branching을 충분히 고려하지 못하고 있음.

3. Problem Formulation

  • Active Perception을 단순한 반응형 동작이 아닌, 정보 불확실성을 해소하기 위한 능동적인 루프로 정의함.
  • 핵심 매커니즘: Non-Markovian Decision Preocess(NMDP)
    • Active Perception을 다음 두 가지 메커니즘을 포함하는 NMDP로 모델링함.
      • Information Gain(정보 이득): 행동(AtA_t)을 통해 미래의 관측(ot+1o_{t+1})에 대한 불확실성을 점진적으로 줄여나가는 과정임. 이를 수식적으로 상호 정보량(Mutual Information)을 통해 정형화함.
        • I(ot+1;At∣ht,ot)I(o_{t+1}; A_t | h_t,o_t)
      • Decision Branching(의사 결정 분기): 과거 맥락(hth_t)과 현재 관측(oto_t)에 따라 서로 다른 행동 시퀀스를 트리거하는 NMDP적 Mapping
        • At=π(ht,ot)A_t = \pi(h_t,o_t)
  • Decision Branching의 두 가지 형태
    • Exploratory Branching(탐색적 분기): Perception 증거에 따라 탐색 전략을 조정함(예: 목표물을 찾으면 응시하고, 못 찾으면 Scanning)
    • Exploitative Branching(활용적 분기): 해소된 지각 상태에 따라 조작 전략을 조정함(예: 물체가 왼쪽에 있으면 왼손으로 , 오른쪽에 있으면 오른손으로 잡음)
  • Paradignms of Visual Activce Perception
    • Information Discovery(ID, 정보 발견): 관련 정보가 처음에 없을 때 이를 시야로 가져오기 위한 전략
      • Viewpoint Discovery(VD): head 회전이나 Base 이동을 통해 시점 변경
      • Manipulation Discovery(MD): 서랍을 여는 등 환경과 물리적으로 상호작용하여 숨겨진 정보를 노출
    • Information Enrichment(IE, 정보 풍부화): 정보는 존재하지만 정밀 작업이 부족할 때, 물체를 가까이 가져와 해상도를 높이는 등의 행동
  • Passive vs Active Perception 비교
    • Passive : 정적인 관측에 기반해 선형적으로 행동하며, 물체가 시야 밖(Out of View)에 있거나 Occlusion에 대응하지 못함
    • Active: 정보 불확실성을 해결하기 위해 의도적인 행동을 실행하고, 그 결과에 따라 후속 행동의 branch가 결정됨

4. Data Collection

  • CoMe-VLA 학습을 위해 Large scale human data와 robot teleoporation data를 결합하여 사용

  • Large-Scale Egocentric Human Dataset

    • 인간이 물리적 제약 하에서 수행하는 Perception, 의사결정, 실행 과정을 학습하기 위해 공개 데이터셋을 활용함
    • 선택 기준: 세밀한 행동 및 상태 이해를 위한 Annotation, hand와 head pose 동기화. 가려짐이나 동적 상호작용이 포함된 Active Perception 시나리오 포함 여부
    • 사용 데이터: CaptainCook4D(구조화된 요리 절차)와 Ego-Exo4D(다양하고 비구조화된 실제 환경)를 주요 소스로 선택

  • Egocentric Robot Teleoperation

    • Human data의 Prior를 실제 로봇 embodiment와 환경에 grounding시키기 위해 데이터를 수집
    • Hardware platform: 바퀴형 휴머노이드 Corenetic Monte02를 사용하며, 모바일 새시(2 DoF), 머리(2 DoF), 양팔(14DoF), 그리퍼(2 DoF)를 제어함.
    • Immersivve Teleoperation System: Meta Quest 3 VR 헤드셋을 통해 로봇의 1인칭 Visual Stream만 보면서 조종
    • Strict "Blind" Protocol: 조종자가 목표물의 위치를 미리 알지 못하게 하여, 실제 정보 탐색 행위(Information-seeking behavior)가 데이터에 담기도록 강제함.

  • Human-Robot Data Alignment

    • Unified Action Space: 인간과 로봇의 서로 다른 신체 구조와 센서 결정을 극복하기 위해 통합된 1인칭 행동 공간을 정의함.
    • 에피소드 상대 좌표계(Episode-relative Frame): 각 trajectory를 첫 번째 프레임을 기준(Base Frame)으로 설정하여 모든 Pose를 상대적으로 표현함으로써 데이터 분포 차이를 완화함.
    • Pose 및 Gripper 정규화:
      • Head(시점)와 양 손목의 Pose를 동일한 Local Frame으로 변환
      • 인간의 손가락 움직임을 평균 거리 기반의 단일 그리퍼 너비(0~1 사이 값)로 매핑하여 로봇의 그리퍼와 일치시킴
      • 로봇의 새시 이동과 머리 관절 움직임을 합쳐 인간의 머리 포즈와 대응되는 복합 head pose로 통합 관리

5. Model Design

  • CoMe-VLA는 high-dimensional visual inputs 상황에서 계산이 불가능한 상호 정보량(Mutual Information) 계산을 신경망으로 근사하여 NMDP를 구현한 프레임워크임. Qwen3-VL-2B를 백본으로 하며, 인지(Cognition)와 메모리(Memory) 매커니즘을 결합함.

  • Model Architecture

    • 입력 데이터: 시간적(과거 및 현재) Egocentric visual observation, task 설명, 인지 토큰[COG], 시간적 Proprioceptive 상태를 입력받음
    • 출력 데이터: K=30K=30 길이의 Action Chunk(At∈RK×29A_t \in \mathbb{R}^{K \times 29})를 예측하며, 여기에는 시점 포즈(Cartesian + 6D rotation), Bimanual End-effect Pose, gripper state가 포함
    • 인지 보조 헤드(Cognitive Auxiliary Head):
      • 정보 이득(Information Gain)의 저차원 Proxy 역할을 수행함.
      • 입력 시퀀스에 [COG] Token을 추가하여 Visual/Sementic History를 집계하고. 이진 perception label(ctc_t)을 예측함.
      • ct=1c_t=1은 불확실성이 해소되었음을 의미하며(예: 숨겨진 타겟 발견), 이때 정책을 탐색(Exploration)에서 활용(Exploitation)전략으로 전환하도록 유도함.
      • 이는 텍스트 명령(sub-task instruction)을 교체하여 정책을 re-conditioning하는 방식으로 실현됨.
    • 이중 트랙 메모리(Dual-Track Memory):
      • Visual Track: Qwen3-VL의 Multi Image Processing 능력을 활용하여 현재 프레임과 과거 5초동안 1초 간격으로 샘플링된 5개의 history 프레임을 인코딩함
      • Proprioception track: Transformer .기반 인코더를 사용하여 로봇의 운동 역학 history를 캡쳐
      • 결합 방식: Flow-mathcing 액션 디코더가 각 레이어에서 이 두가지 맥락에 대해 cross-aattention를 수행하여 의사결정을 내림.
    • Flow-mathcing Action Decoder:
      • Viewpoint action Noise와 manipulator action Noise를 별도의 MLP로 투영한 후 결합하여 6개의 Transformer block으로 처리
      • Self-attention Masking을 통해 모달리티의 정체성을 보존하며, 훈련 안정화를 위해 AdaRMSNorm을 사용함.

  • Training Startegy

    • 총 3단계의 점진적 파이프라인을 통해 학습
      • Stage1: 인지 상태 사전 학습(Cognitive State Pretraining):
        • 대규모 인간 데이터로부터 task progress 상황에 대한 기초적 이해를 학습
        • VLM과 Cognitive Auxiliary Head만 Update하고 나머지를 Frozen, Focal Loss를 사용하여 Supervised Learning함
      • Stage2: Cognition-Action Joint Pretraining
        • 전체 모듈의 Frozen을 해제하고 인간 데이터로부터 능동 지각 및 조작 Prior를 학습
        • 인지 Focal Loss와 Action Decoder의 예측 속도에 대한 MSE Loss를 결합하여 최적화
      • Stage3: 로봇 데이터 미세 조정(Robot Data Finetuning):
        • 모델을 실제 로봇의 역학 및 실행 환경에 적응시킴
        • 로봇 데이터를 사용하면 Stage2와 동일한 Loss Function 구조를 유지

6. Experiments

  • 본 섹션에서는 CoMe-VLA의 성능을 검증하기 위해 5가지 주요 질문(장기 작업 수행 능력, 인간 데이터 Pretraining의 효과, 인지 및 메모리 시스템 기여도, 동적 환경에서의 강건성 등)에 답하는 실험을 진행함

  • Implementation Details

    • Task 설정(5개 Tasks): Active Perception 패러다임에 따라 설계됨.
      • Croissant Search(ID-VD): Head Scan을 통해 시야 밖에 있는 크로와상을 찾아 집어 올림
      • Can Disposal(ID-VD): 캔 두개를 잡고 base를 이동하여 보이지 않는 쓰레기통을 찾아 버림
      • Bottle Retrieval(ID-MD): 캐비닛을 열어 가려진 선반에서 병을 식별하고 꺼냄.
      • Cylinder Hunt(ID-MD): 뒤집힌 두 개의 보울 중 하나에 숨겨진 실린더를 찾아 목표 지점에 놓음
      • Ring Peg(IE): 멀리 있는 페그를 가까이 가져와 정밀하게 링을 끼움.
    • 데이터 및 훈련: 800K의 인간 데이터(22.2시간)와 태스크당 100K의 로봇 데이터(0.9시간)로 학습하며, 8개의 NVIDIA H100 GPU에서 3일간 Train

  • Comparative Evaluation

    • 비교 대상: OpenVLA-OFT, π0.5\pi_{0.5}, 와 같은 VLA모델 및 ACT, Diffusion Policy(DP)와 같은 Task 전용 policy와 비교
    • 주요 결과
      • 성능 우위: CoMe-VLA는 평균 성공률(SR) 83.3%를 기록하며 모든 베이스라인(최대 16.7%)을 압도함
      • 탐색 효율성: 평균 탐색 시간(ST) 97.9초를 기록하며 가장 효율적인 탐색 능력을 보여줌.
      • 기존 모델의 한계: 베이스라인들은 "Random-walk"식의 무작위 행동을 보이거나, 특정 방향으로만 머리를 돌리는 Aciton Bias를 보임

  • 데이터 구성 분석(Data Composition Analysis)

    • 인간 데이터의 영향: 로봇 데이터만 사용할 때(42.7%)보다 400k 인간 데이터를 추가했을 때(72.0%) 성능이 급격히 향상됨.
    • Scaling Trend: 인간 데이터를 800K로 늘리면 성공률이 87.3%까지 상승하며 선형적인 성능 향상을 보임
    • 데이터 효율성: 대규모 인간 데이터가 뒷받침되면 로봇 데이터를 1/4로 줄여도 성능 하락이 미미(87.3 -> 83.3%)하여, 로봇 시연 데이터 수집의 어려움을 크게 완화해줌

  • Ablation Studies

    • 인지 메커니즘(Cognition)

      • 인지 기반 태스크 분할이 없으면 성공률이 급락함(22.7%)
      • stage1(인지 사전 학습)을 생략할 경우 SR이 31.3% 감소하며, 고수준 추론과 저수준 제어 사이의 간섭을 막는 단계별 학습의 중요성을 증명함.

    • 메모리 시스템(Memory)

      • 메모리를 제거하면 성능이 40.7%로 반토막나며, Active Perception의 NMDP 특성을 확인시켜줌
      • Dual-track 구조: visual 과 Proprioception을 분리해 모델링하는 것이 단일 결합 메모리보다 우수함.
      • 메모리 길이: History frame을 5개 사용할 때가 3개나 1개보다 월등한 성능을 보임

  • 강건성 분석(Robustness Analysis)

    • 동적 환경 테스트: 타겟이 갑자기 사라지거나 위치가 바뀌는 상황에서도 로봇은 갇히지 않고 지속적으로 스캔을 수행함
    • Visual Locking: 타겟이 다시 나타나면 즉시 시각적으로 고정(Locking)하고 응시를 유지하며, 다시 사라지면 즉각 탐색 모드로 복귀하는 유연한 전환 능력을 보여줌.

7. Limitations and Future work

  • 메모리 설계의 한계
    • 현재의 고정되고 짧은 시간 윈도우 방식은 수십 분 이상의 초장기 작업(Long-horizon tasks)에서 한계가 있으며, 단순히 길이를 늘릴 경우 오래된 정보가 간섭을 일으킬 수 있음
    • 데이터 효율성 문제: 인간 데이터가 로봇 데이터의 복잡성을 줄여주긴 하지만, 특정 로봇 본체와 환경에 적응하기 위해 여전히 수동적인 teleoperation data가 필요함
  • 향후 발전 방향'
    • 비디오 스트리밍 입력 및 신념 인식(belief-aware) 메모리 표현 연구
    • 강화학습을 결합하여 복잡하고 비구조화된 환경에서 능동 지각 전략을 자율적으로 탐색하는 방식을 도입
profile
두부김치
Robotics
이전 포스트

[논문 리뷰] View-Invariant Policy Learning via Zero-Shot Novel View Synthesis

다음 포스트

[논문 리뷰] π0.5: a Vision-Language-Action Model with Open-World Generalization

0개의 댓글