[Others] Navigation World Models

[Other] Navigation World Models

• 논문 링크: https://arxiv.org/pdf/2412.03572
• CVPR 2025에 accept 된, vision and planning 논문이다. 평소 reasoning and planning 을 강조하는 LeCun 이 이런 연구도 계속 하고 있구나.. 확인하기도 하고, 결고 LLM에 고정되어 논문 읽고, 생각하고, 실험해서만은 안된다는 건 알았다. (최소한 LLM연구를 할 때에도, 다른 논문도 계속 읽으며 아이디어 얻어야 함.)

Introduction

인간 agents 가 plan 할 때는 자유롭게 미래의 trajectories 를 상상하고, constraints and conterfactual 를 고려하지만, 현재의 navigation (여기서의 navigation 이란 실제로 '길을 찾는' 네비게이션과 연결된다) 은 다음과 같은 문제가 있다.

1. hard-coded: 새로운 constraints 가 들어올 수가 없다

2. cannot dynamically locate more computational resources to address hard problems: 어려운 문제를 풀기위해 더 많은 자원을 활용하지 않는다, supervised training 이기 때문에.

따라서 위 두 문제를 해결하기 위해, 논문에서는 Conditional Diffusion based Transformer (CDiT) 기반의 Navigation World Model (NWM) 을 제안한다. 이때의 NVM이라 함은, trained to predict the future representation of a video frame based on past frame representation and actions, 과거의 frame 과 action에 기반하여 현재의 frame 을 예측하는 것이다.

구체적으로는, VVM 을 훈련하기 위해 도입된 CDiT는, train to predict the next image state given past image state and action as context (같은 말!) 한다. 논문은 이와 같은 새로운 프레임워크를 제시하며, 다음을 보인다.

• achieving state-of-the-art visual navigation performance
• by taining NVM on action- and reward free data, demonstrate improved video prediction and generation performance in unseen environments

Navigation World Models

기본적으로 navigation world models 이라 함은 현재의 state of the world (이미지로 주어지는 '관찰')과 naivation action describing where to move and how to rotate (상하좌우와 각이 주어지는 action) 로부터, next state of the world 를 예측해내는 것이다.

이를 수식으로 표현하면 다음과 같다.

• 목표는 world model F 를 train 하는 것이다
• F는 stochastic mapping: previous latent observations (s_tau) and action (a_tau) |-> future latentn state representaion (s_tau+1) 한다.
• 이때 주어지는 s 상태들은 VAE 등으로 인코딩 되는 m개의 visual observations 이다.

그러나, 이러한 기존의 NVM 은 한가지 문제가 있었는데, temporal dynamics, 즉 시간을 모델링하지 못한다는 것. 따라서 이 formualtion 이 time shift 를 모델링하기 위한 방법은 다음과 같다.

• 원래의 a 는, a = (u, phi) 로 정의된다. 이때 u는 상하좌우의 action 이고, phi 는 yaw rotation angle 이다.
• 그러나 action 에 time shift 에 대한 정보를 추가하기 위해 (이전 step 과 다음 step 사이 시간을 모델링하기 위해) a = (u, phi, k), k 는 시작 시간과 끝나는 시간을 주게 된다.
• 따라서 위의 formula 에서 u_tau-> m 에서 변할 때, tau 에서 시작하여 m = tau + k -1 초 후의 시간에서 상하좌우가 어떻게 변하는지를, phi 의 경우 k-1 초 후의 시간에서 angle 이 어떻게 변하는지를 합하게 된다.

논문에서는 실제로는 time shifts up to +- 16 seconds 정도를 고려한다.

Diffusion Transformer as World Model
이 논문에서 F를 훈련하기 위해 제안된 아키텍쳐는 Conditional Diffusion Transformer (CDiT) 이며, 아래와 같다.

(간단한 특징들)

• first attention block 에서의 attention 은 target frame 의 tokens 들이다.
• tokens from past frames 로부터, cross-attention layer 를 거치게 된다: 이때 Q는 token from the current target 으로, K, V는 token from past frames 로 지정된다.
• cross attention 결과는 skip connection layer 로 contextualized 된다.

이때 논문에 따르면 단순히 DiT 를 적용하는 건, n: number of input tokens per frames, m: number of frames, d: token dimensions 이라 했을 떄 O(m^2n^2d) 의 multi-head attention 복잡도가 걸린다 한다. 그러나, CDiT의 경우 cross attention 에서 드는 O(mn^2d) 의 복잡도만 걸리며, 따라서 context 에 linear 한 아키텍쳐가 됨을 보이고 있다. 실제로 FloPs 와 비교한 결과가 뒤에 있다.

여기에 논문은 Diffusion Training 을 하기 위해 다음과 같은 training objective 를 도입한다.

• s^(t) 가 noisy state 를 의미한다. 따라서, 현재 상태의 state (s_tau)와 action (a_tau) 가 들어오면, 우선 noisy state (s_tau+1^(t)) 를 예측하게 되고, forward process 에서 이러한 noisy 를 추가하는 훈련을 했으므로 reversed process 를 통해 이 값을 가지고 결국은 다음 상태 s_tau+1 를 예측하도록 훈련한다
• s^(t)는 Gaussian noise 를 noise schedule controling the variance of s_tau+1 에 더한 것을 통해 도입된다. (일반적인 state 에서 noisy state 를 만드는 방법)

최종적으로 논문이 의도하는 NWM 모델은, 초기 state s0과 a = (a0, .... , aT-1) (다른 NoMaD 라 하는 SoTa navigation policy 모델이 스텝마다 만들어낸 것) 이 주어졌을 때, 이걸 보고 각각에 맞는 state (visual observations 을 예측하는 것이다. 이걸 가지고 다음 energy function 을 줄이도록 훈련된다 해석할 수 있는데,

• energy function 을 줄이도록 훈련한다는 것은, 정답으로 주어진 마지막 시점의 state S_T와 모델이 만들어낸 예측값 S* 의 similarity (unnormalized perceptual similarity) 를 늘리고, 각 action 과 state 에 관해서는, "valid 하다고 정해진 것 = 하지 말라고 하는 걸 하지 않는 것" (constrained) 안에서만 행동하고 움직이는 것이다.
• A_valid 과 S_safe 에는 "never go left then right", "never explore the edge of the cliff" 등 constrain 가 있으며, 이걸 어기면 indicator function 에 의해 penalty 가 부과됨.

따라서 문제는 다음 energy function 을 줄이는 action 을 찾는 것으로 단순화 된다.

결과1: Ablations

논문에서는 조금 특이하게 ablations 결과를 먼저 보여주는데, 결과는 다음과 같다.

• LPIPS 는 목표한 이미지 S_T와 모델의 예측 S* 를 perceptual similarity 를 비교한 것이다.(낮을수록 좋음) 그 결과 CDiT 의 경우 DiT보다 더욱 예측을 잘 했으며, 심지어는 같은 모델 파라미터 수를 가진 CDiT-L 이 DiT-XL 보다 4배 정도 빠르며, 성능도 좋음을 보이고 있다.

• #goals 는 훈련시 사용한 goal state 의 주어진 개수이다, 직관적으로 goal state 를 다양하게 준 것이 성능향상에 좋으며, 결과적으로도 그러했다.
• #context 는 훈련시 사용한 condicitoning frames 의 개수이며, 여기서도 더 많은 프레임이 도움이 됐다.
• 모델링 할 때, time 에 대한 정보를 추가할 수도 있다고 하였다. 결론적으로, action 만 사용하는 것보다, time 에 대한 정보를 추가하는 것이, 도움이 되었다.

Vido Prediction and Synthesis

아래의 결과는, 첫 이미지와 truth actions 들을 가지고, 다음의 si state 들을 훈련했을 경우, 즉 비디오를 만들었을 경우의 성능 평가이다.

• 시간에 따른 평가는 NWM 이 DIAMOND 보다 더욱 에측을 잘 하는 것을 보여주고, (낮을수록 좋음) 시간이 지날수록 accumulated error and loss of context 때문에 감소가 있음을 알 수 있다. 그래도 4 FPS 경우 이를 그나마 방어했다.

Planning Using a Navigation World Model

이 논문에서 정의한 planning 은, 여러 action 들이 주어진 상태에서, (NoMaD와 같은) 각각 경로로 갔을 때의 예측을 수행하고, (경로 1예측 P1, 2에 따른 예측 P2, P3, ...) 그 중 target 과 비교헀을 때 loss 가 적은 경로를 선택하는 것이다. 이 정의를 잘 기억해두자.

결론적으로, NWM 으로 planning 을 수행했을 경우는 그렇지 않을 경우보다 더 높은 ATE (trajectories 에서 정확도), RPE (trajectories에서 pose consistency) 를 기록했다.

또한, constraints 가 주어진 상태에서 예측을 수행하더라도, 적절하게 위치와 angle 을 목표와 크게 벌어지지 않고 잘 예측했다. 여기서 delta u는 상하좌우 위치를 모델의 예측과 target 과의 차이 norm difference 이고, delta phi 는 yaw relative 를 뜻한다.

따라서 결론적으로, NVM-based trajectory ranking 은 navigation performance 를 높일 뿐 아니라, effectively plans under constraints 함을 확인한다.

Generalization to Unknown Environments
인트로에서 밝혔던, action 에 대한 정보가 없는 Ego4D 데이터에 대한 예측이다. 이 unlabeled data 를 논문에선 unkown environments 라 가정하며, 이 환경에서도 상상을 통해 예측을 잘 생성할 수 있는지를 평가한다.

• 결론적으로 아래 Table 의 결과는 이러한 unlabeled 데이털르 추가로 도입하는 것이 unknown environments 에서의 성능을 더 높이고, generation quality 도 더 높임을 보인다고 주장하고 있다.
• 위의 qualitative examples 들은, 그러나, in domain 과 비교하면 breaks faster and expectedly hallucinates paths 을 보임을 확인하고 있음을 밝혔다.

생각

• 오히려 planning 은 reasoning 과 더불어 모델이 아직 잘 하지 못하는, 거기에다 적절한 training architecture & objective 도 굳어지지 않은 느낌이다. 할 게 많아 보인다.
• 왜냐하면 논문에서 Limitations 이라 밝힌 edge cases 들이 진짜 limitation 인 것처럼 보이기 때문. 결국 아직 planning & video generation에 대해선 out of domain 에서 모델이 전혀 잘 작동하지 못하고, 오히려 training data 에 있는 이미지들을 반복 생성해낼 뿐이란 게 자명함. Planning 이야말로 모델이 진짜 잘 하지 못하는 것이고, 앞으로 Agents 를 위해 풀어야 할 문제란 것이 느껴짐. 그런데 Vision 쪽은 architecture 을 크게 건드리기 보다 meta-data 등 데이터를 어떻게 주냐에 따른 variants 를 주는 논문이 더 많은 듯?!
• 또한, 이쪽 논문들을 잘 읽어두는 게, 여전히 LLM 문제 푸는데도 도움이 많이 될 것이고, 더 중요하게는 '풀어야 할 중요한/커다란 문제'가 무엇인지를 고민하고 구체화하는데 큰 도움이 될 것이라 생각된다. 다양하게 읽을 것!