End-to-end Autonomous Driving: Challenges and Frontiers 논문 요약

이 논문은 End-to-end Autonomous Driving(E2E AD) 분야의 포괄적인 분석을 제공하는 서베이 논문입니다. 270개 이상의 관련 논문을 검토하며 E2E AD의 동기, 발전 경로, 방법론, 주요 도전 과제 및 미래 동향을 심도 있게 다룹니다. 특히, Perception 및 Planning을 위한 Joint feature optimization의 이점을 강조하며, 기존 모듈식(Modular) 자율주행 시스템과의 차별점을 설명합니다.

1. End-to-end Autonomous Driving의 정의 및 장점

E2E AD 시스템은 Raw sensor input을 받아 Vehicle motion plans 또는 Low-level control actions를 생성하는 Fully differentiable program으로 정의됩니다. 이는 Detection이나 Motion prediction과 같은 개별 Task에 집중하는 대신, 전체 시스템이 궁극적인 Planning/Control Task를 목표로 Jointly 및 Globally하게 최적화된다는 점에서 Modular pipeline과 차이가 있습니다. E2E AD의 장점은 다음과 같습니다:

- 단순성(Simplicity): Perception, Prediction, Planning을 단일 모델로 통합하여 Jointly 학습 가능합니다.
- 최적화(Optimization): 중간 표현을 포함한 전체 시스템이 궁극적인 Task에 맞춰 최적화됩니다.
- 계산 효율성(Computational Efficiency): Shared backbone을 통해 계산 효율성을 높일 수 있습니다.
- 데이터 기반 최적화(Data-driven Optimization): 학습 자원을 확장함으로써 시스템 성능을 향상시킬 수 있는 잠재력이 있습니다.

그림 1.
(a) 파이프라인과 방법론 (Pipeline and Methods)
우리는 엔드투엔드 자율주행을 원시 센서 입력(raw sensor input)을 받아 계획/제어 출력(planning/control output)을 내는 학습 기반 알고리즘 프레임워크로 정의한다. 270편이 넘는 논문을 깊게 조사했고, 이를 크게 모방학습(IL: Imitation Learning)과 강화학습(RL: Reinforcement Learning)로 분류한다.

(b) 벤치마킹 (Benchmarking)
대표적인 벤치마크들을 클로즈드 루프(closed-loop) 평가와 오픈 루프(open-loop) 평가로 나누어 정리한다. 특히 클로즈드 루프 시뮬레이션의 여러 측면과, 이 문제에서 오픈 루프 평가가 갖는 한계점을 함께 다룬다.

(c) 도전 과제 (Challenges)
이 부분이 우리 논문의 핵심(main section)이다. 다양한 주제 범위에서 중요한 도전 과제들을 나열하고, 왜 이런 문제들이 중요한지(핵심 우려점인지)를 자세히 분석한다. 또한 이런 과제들을 해결할 수 있는 유망한 접근/해결 방향도 함께 소개한다.

(d) 미래 트렌드 (Future Trends)
파운데이션 모델, 비전 사전학습(visual pre-training) 등 빠르게 발전하는 기술의 도움을 받아, 엔드투엔드 패러다임이 어떻게 더 발전할 수 있는지를 논의한다.

(참고: 일부 사진은 온라인 자료를 출처로 사용했음을 밝힌다.)

그림 2.
엔드투엔드 자율주행 로드맵: 우리는 주요 이정표들을 시간 순서대로 제시하고, 비슷한 연구들은 같은 주제(테마) 아래로 묶어 정리한다. 각 테마에서 대표 연구 또는 최초 연구는 굵게(bold) 표시하고 그림(일러스트)과 함께 보여준다. 같은 테마에 포함된 나머지 문헌들은 실제 발표 시점이 서로 다를 수 있다.

2. 방법론 (Methodology)

E2E AD 시스템은 크게 Imitation Learning(IL)과 Reinforcement Learning(RL) 두 가지 패러다임을 기반으로 합니다.

2.1. Imitation Learning (IL)

IL은 전문가(Expert)의 행동을 모방하여 Policy를 학습합니다.

Behavior Cloning (BC):
문제: 전문가의 궤적($D={ξi​}$)을 사용하여 Agent의 $Policy$ $π$가 전문가의 $Policy$ $\pi_\beta$와 일치하도록 Planning loss를 최소화하는 Supervised learning 문제입니다. 손실 함수는 $\ell(\pi_\theta(s), a)$ 로 표현됩니다.
장점: 단순성과 효율성. 수동으로 Reward를 설계할 필요가 없습니다.
문제점:
Covariate Shift: 학습 시 각 상태를 독립적으로 간주하여, 학습된 Agent가 전문가의 Data distribution을 벗어나는 상태를 방문할 때 성능 저하가 발생할 수 있습니다. DAgger(Dataset Aggregation)와 같은 On-policy method가 이를 해결하기 위해 사용됩니다.
Causal Confusion: Imitator가 입력의 특정 요소와 출력 신호 간의 잘못된 상관관계에 의존하여 오작동하는 문제입니다. (예: 정지 시 속도와의 상관관계)

Inverse Optimal Control (IOC) / Inverse Reinforcement Learning (IRL):
문제: 전문가 시연으로부터 알려지지 않은 Reward function $R(s, a)$를 학습합니다.
핵심: Reward를 Adversarial objective로 설계하여 전문가와 학습된 Policy를 구별하는 Generative adversarial imitation learning(GAIL) 접근 방식이 사용됩니다.
Cost Learning: 학습된 Cost function $c(\cdot)$ 을 정의하고, Trajectory sampler를 사용하여 최소 Cost를 갖는 최적 궤적 $\tau^*$ 를 선택합니다. 이를 통해 Max-margin loss를 사용하여 전문가 시연이 최소 Cost를 갖도록 유도합니다.
장점: 안전성과 해석 가능성 향상.
문제점: Reward 정의의 어려움, Multi-modal 및 Multi-task 데이터셋 구축의 복잡성.

2.2. Reinforcement Learning (RL)

문제: Trial-and-error 방식을 통해 학습합니다.
핵심: Deep Q-networks(DQN)와 같은 Deep RL 기법이 활용됩니다.
장점: 복잡한 환경에서 최적 행동을 학습할 수 있는 잠재력.
문제점:
Sample Complexity: E2E AD는 높은 Sample complexity를 요구하여 학습에 많은 데이터가 필요합니다.
안전 문제: 실제 환경에서 잠재적으로 안전하지 않은 행동을 실행해야 할 수 있습니다.
시뮬레이션 의존성: 대부분의 RL 기반 AD 연구는 시뮬레이션 환경에서 이루어지며, 실제 환경으로의 이전(Sim-to-real transfer)이 어렵습니다.
Perception 학습 어려움: Reward gradients만으로는 복잡한 Perception 아키텍처(예: ResNet)를 학습시키기 어렵습니다.

해결책: Supervised Learning(SL)과의 결합(Pre-training, Fine-tuning), Privileged simulator information 활용(데이터 수집).

그림 3.
우리는 널리 사용되는 세 가지 대표 패러다임을 보여준다. 여기에는 두 가지 모방학습(IL) 프레임워크인 행동 모사(behavior cloning)와 역 최적 제어(inverse optimal control), 그리고 온라인 강화학습(online reinforcement learning)이 포함된다.

3. 벤치마킹 (Benchmarking)

실제 환경 평가 (Real-world Evaluation): 비용과 위험이 높습니다 (DARPA Grand Challenge, MCity).

온라인/Closed-loop 시뮬레이션 (Online/Closed-loop Simulation):
장점: 빠른 프로토타이핑, 다양한 시나리오 접근, 비용 절감 (CARLA, nuPlan).
구성 요소: Parameter Initialization(Procedural Generation, Data-Driven), Traffic Simulation(Rule-Based, Data-Driven), Sensor Simulation(Graphics-Based, Data-Driven), Vehicle Dynamics Simulation.
한계: Sim-to-real Gap.

오프라인/Open-loop 평가 (Offline/Open-loop Evaluation):
장점: 실제 Traffic 및 Sensor 데이터를 사용하기 용이.
한계: 실제 배포 시 성능을 측정하지 못하며, Covariate shift 문제를 해결하지 못합니다. 예측된 궤적이 기록된 궤적과 일치하는 정도에 의존하여 Multi-modal 시나리오에서 적합하지 않을 수 있습니다 (nuScenes, Argoverse, Waymo, nuPlan).

표 1 (Table 1).
자율주행의 클로즈드 루프(closed-loop) 평가를 위해 활성 벤치마크가 운영되고 있는 오픈소스 시뮬레이터들.

4. 도전 과제 (Challenges)

4.1. Sensing 및 Input Modalities의 딜레마

Sensing: 카메라(RGB), LiDAR, mmWave Radar, Event Camera, Vehicle states 등 다양한 센서 사용.
Multi-sensor Fusion:
Early Fusion: 센서 입력을 Feature extractor에 공급하기 전에 결합 (예: Concatenation).
Middle Fusion: Network 내에서 Feature level에서 각 입력을 따로 인코딩한 후 융합 (예: Transformer의 Attention mechanism).
Late Fusion: 각 Modality에서 나온 결과를 결합.
도전: 다양한 센서의 특성, 데이터 분포, 가격 차이를 고려하여 효율적으로 센서를 통합하는 것.

Language as Input: 자연어를 이용한 제어 및 지시(HAD, CLIP-MC, LM-Nav, LLMs/VLMs). 긴 추론 시간, 낮은 정량적 정확도, 불안정한 출력 등의 문제가 있습니다.

4.2. Visual Abstraction 의존성

Representation Design: Input state를 Latent feature representation으로 인코딩한 후, 이를 바탕으로 Driving policy를 디코딩합니다. BEV(Bird's-Eye-View)와 같은 중간 Perceptual representation의 설계가 중요합니다. HD Map, Vectorized lanelines 등 Map representation도 도전 과제입니다.
Representation Learning: 유용한 정보를 추출하고 Sample efficiency를 높이기 위해 Pre-training task(Semantic segmentation, Depth estimation, 3D object detection, Affordance prediction)를 통해 Visual encoder를 Pre-train합니다. Self-supervised learning(PPGeo, ViDAR)도 유망한 방향입니다.

4.3. World Modeling의 복잡성 (Model-based RL)

World model은 미래 예측을 통해 Policy model을 돕습니다. MBRL (Model-Based Reinforcement Learning)은 Sample efficiency를 향상시키지만, 동적인 환경을 모델링하는 것이 어렵습니다. 비반응적인 World model과 Kinematic bicycle model로 Transition dynamics를 분해하거나(Chen et al., [20]), Uncertainty estimation을 위한 Ensemble model을 사용합니다. Raw image space에서의 World model 학습은 Traffic light와 같은 작은 세부 정보를 놓칠 수 있어 Diffusion technique이 활용됩니다.

4.4. Multi-Task Learning (MTL) 의존성

MTL은 여러 관련 Task를 공유된 Representation 기반으로 Jointly 수행하여 계산 비용 절감, 지식 공유, 일반화 능력 향상에 기여합니다. E2E AD에서 Sparse supervision 때문에 유용한 정보를 추출하기 어렵습니다. Semantic segmentation, Depth estimation, 3D object detection, BEV segmentation, Visual affordance 예측과 같은 Auxiliary task들이 사용됩니다. 도전 과제는 최적의 Task 조합과 Loss weighting을 찾는 것입니다.

4.5. 비효율적인 Expert 및 Policy Distillation

Behavior Cloning은 "Teacher-Student" 패러다임을 따릅니다.

Teacher의 한계: 전문가(예: CARLA의 Handcrafted expert)는 완벽하지 않으며, Ground-truth 상태에 접근할 수 있음에도 불구하고 한계가 있습니다.
Student의 학습: Student는 센서 입력만으로 Perception feature를 추출하고 Policy를 학습해야 합니다.
Policy Distillation: 더 강력한 Teacher Network를 훈련한 후, Policy를 Student에게 Distillation합니다. Privileged agent(환경 상태에 접근)를 먼저 학습시키고, Sensorimotor agent가 이를 모방하게 합니다. Feature level에서의 Distillation도 사용됩니다 (FM-Net, SAM, CaT).
도전: Distillation의 비효율성, Teacher와 Student 간의 성능 격차, Causal confusion 유발 가능성.

4.6. 해석 가능성 (Interpretability) 부족

E2E AD 모델은 종종 "Black box"로 간주되어 디버깅과 사회적 수용에 어려움이 있습니다.

Attention Visualization: Saliency map, 학습된 Attention weight를 통해 모델이 의존하는 영역을 시각화합니다.
Interpretable Tasks: Latent feature representation을 Semantic segmentation, Depth estimation, Object detection, Motion prediction과 같은 의미 있는 정보로 디코딩합니다.
Rules Integration and Cost Learning: 안전, 편안함, 교통 규칙과 같은 인간의 전문 지식과 Pre-defined rule을 Cost function에 명시적으로 포함시킵니다.
Linguistic Explainability: 자연어를 사용하여 의사결정에 대한 설명을 제공합니다 (LLMs/VLMs 활용).
Uncertainty Modeling: 모델 출력의 신뢰도를 정량적으로 해석합니다 (Aleatoric uncertainty, Epistemic uncertainty). 예측된 Uncertainty를 기반으로 최종 행동을 결정하는 방식이 연구됩니다.

4.7. 안전 보장 (Safety Guarantees) 부족

학습 기반 E2E Framework는 전통적인 Rule-based 접근 방식과 달리 수학적으로 정확한 안전 보장을 제공하기 어렵습니다. 중간 예측(Detection, Motion prediction)을 Post-processing 또는 Safety check에 활용하는 방안이 모색됩니다.

4.8. Causal Confusion

Temporal smoothness로 인해 과거 Motion이 다음 행동의 신뢰할 수 있는 예측 변수가 되면서 모델이 이 Shortcut에 지나치게 의존하는 문제입니다. (예: 저속 주행 시 브레이크를 밟는 행동을 속도 때문으로 오인)

문제: "Copycat problem"으로도 불리며, 더 많은 정보가 제공될 때 성능이 저하될 수 있습니다.
해결책: 단일 Input frame 사용, Spurious temporal correlation 제거(Adversarial model, OREO), Keyframe 가중치 부여, Ensemble model, LiDAR history 활용 등.

4.9. 견고성 (Robustness) 부족

Long-tailed Distribution: 데이터 불균형(반복적이고 흔한 시나리오 vs. 드물지만 안전에 중요한 시나리오).
해결책: Over/Under-sampling, Data augmentation, Weighting-based approach, Handcrafted scenario, Adversarial attack을 통한 Safety-critical scenario 생성.

Covariate Shift: Expert policy와 학습된 Agent policy 간의 State distribution 차이.
해결책: DAgger(Dataset Aggregation), SafeDAgger, MetaDAgger.

Domain Adaptation (DA): Source domain과 Target domain 간의 차이 (Sim-to-real, Geography-to-geography, Weather-to-weather, Day-to-night, Sensor-to-sensor).
해결책: Domain-invariant feature learning(Image translator, GANs), Domain randomization.

그림 4.
입력 모달리티와 융합(fusion) 전략의 예시. 각 모달리티는 서로 다른 특성을 가지기 때문에, 효과적인 센서 융합(sensor fusion)이 중요한 도전 과제가 된다. 우리는 포인트 클라우드(point clouds)와 이미지(images)를 예로 들어, 다양한 융합 전략들을 설명한다.

그림 5.
정책 증류(Policy distillation).
(a) 특권 에이전트(privileged agent)는 특권적인 정답 정보(ground-truth)에 접근할 수 있는 상태에서 강건한 정책을 학습한다. 그림에서 전문가(expert)가 점선으로 표시된 것은, 특권 에이전트가 강화학습(RL)으로 학습되는 경우 전문가가 반드시 필요하지는 않음을 뜻한다.

(b) 센서모터 에이전트(sensorimotor agent)는 특징 증류(feature distillation)와 출력 모방(output imitation)을 통해 특권 에이전트(privileged agent)를 모방하여 학습한다.

그림 6.
해석 가능성(interpretability)의 다양한 형태에 대한 요약.

이들은 end-to-end 모델의 의사결정 과정을 사람이 이해하는 데 도움을 주며, 모델이 내놓는 출력의 신뢰성을 판단하는 데에도 기여한다.

그림 7.
인과적 혼동(Causal Confusion).

자동차의 현재 행동은 속도나 과거 주행 궤적처럼 저차원의 가짜(허위) 특징(spurious features)과 강하게 상관되어 있는 경우가 많다. end-to-end 모델은 이런 특징들에 의존해 버릴 수(latch on) 있고, 그 결과 인과적 혼동이 발생할 수 있다.

그림 8.
강건성(robustness) 측면의 도전 과제들.

데이터셋 분포가 서로 달라지는 문제와 관련해 세 가지 주요 일반화(generalization) 이슈가 발생한다. 즉, (1) 롱테일(long-tailed) 사례와 일반(normal) 사례의 분포 차이, (2) 전문가 시연(expert demonstrations)과 테스트 시나리오 간의 차이, (3) 장소, 날씨 등 도메인 변화(domain shift)로 인한 차이다.

5. 미래 동향 (Future Trends)

Zero-shot 및 Few-shot Learning: 학습 데이터 분포를 벗어나는 미지의 시나리오에 대한 모델의 적응 능력.
Modular End-to-end Planning: 궁극적인 Planning task에 우선순위를 두면서 여러 모듈을 최적화하는 접근 방식. 해석 가능성을 유지합니다.
Data Engine: 대규모의 고품질 데이터를 위한 자동 라벨링 파이프라인, Hard/Corner case Mining, Scenario generation 및 editing.
Foundation Model: Large language models(LLMs) 및 Vision models의 발전 활용. Fine-tuning, Prompt learning, Self-supervised reconstruction 등을 E2E AD에 적용합니다.

6. 결론 및 전망

E2E AD는 복잡한 도시 환경에서의 자율주행을 위한 엄청난 잠재력을 가지고 있습니다. 대규모 고품질 데이터 수집, 모델 학습, 신뢰할 수 있는 벤치마크 구축을 통해 Modular stack 대비 성능과 효율성에서 우위를 점할 것으로 기대됩니다. 본 논문은 이러한 E2E AD 분야의 기회와 도전 과제를 조명하며, 일반화된 Agent를 구축하기 위한 출발점을 제공합니다.