아래는 nuscenes, nuPlan, OpenScene, NAVSIM의 주요 특징을 매우 자세하게 비교한 표입니다.
| 항목 | nuscenes | nuPlan | OpenScene | NAVSIM |
|---|---|---|---|---|
| 목적 | • 멀티모달 인식 연구 (객체 검출, 추적, 분할, localization 등) | • 자율주행 차량의 경로 계획 및 의사결정 평가 (planning, decision making) | • nuPlan의 핵심 데이터를 축소하여 3D 장면 이해, occupancy 예측 및 open-vocabulary 기반 3D scene understanding 등 다양한 응용에 특화 | • 엔드투엔드 주행 평가를 위한 시뮬레이션 기반 평가 프레임워크 (플래너의 출력이 차량 제어에 미치는 누적 효과 및 안전성, 주행 편안성 평가) |
| 데이터 모달리티 | • 6대 카메라, 1대 LiDAR, 5대 레이더, IMU, GPS 등 • 센서 간 동기화 및 정밀 캘리브레이션 정보 포함 | • 8대 카메라, 5대 LiDAR, IMU, GPS 등 • 정밀한 지도 정보 및 차량 상태 로그 포함 | • nuPlan 기반의 센서 데이터 (주로 카메라, LiDAR) • 다운샘플링(2Hz)되어 저장되어 있어 처리 부담 감소 | • 원천 로그를 기반으로 BEV 등 간소화된 환경 재현 • nuPlan/OpenScene의 센서 데이터 일부를 활용하여 시뮬레이션에 적합한 형태로 전처리됨 |
| 데이터 규모 | • 약 1000 scene (20초 씬) • 고해상도, 고주파수 (예: 약 10Hz) 센서 데이터 • 원본 데이터 용량 수십 TB 내외 | • 1,200~1,500시간 주행 데이터 • 원본 센서 데이터 용량 16TB 이상 • 다양한 도시(보스턴, 피츠버그, 라스베이거스, 싱가포르)에서 수집 | • nuPlan의 핵심 데이터만 선별(주로 planning에 필수적인 정보) • 약 120시간 분량 • 저장 용량 약 2TB (원본 대비 약 90% 축소) | • 시뮬레이션용 데이터로, 주행 로그의 일부를 활용 • 짧은 시뮬레이션 시간 (예: 4초, 10Hz) 기준 • 원본 데이터의 복잡성을 간소화하여 평가 지표 산출에 집중 |
| 샘플링 주파수 | • 원본 센서 데이터는 일반적으로 10Hz 이상 | • 원본 로그에서는 높은 주파수(예: 10Hz 등)를 유지하나, planning 평가에 필요한 시간 창을 설정하여 사용 | • 다운샘플링되어 2Hz로 저장 • 데이터 처리 및 학습 부담을 줄여 빠른 프로토타이핑 가능 | • 시뮬레이션 이터레이션 기준 10Hz 등, 평가 시나리오에 맞게 설정됨 |
| 주요 어노테이션 / 주석 유형 | • 3D 바운딩 박스, 객체 ID, segmentation, 트래킹, 포즈, 지도 정보 등 | • 3D 바운딩 박스, 차량 trajectory, 미션 목표, 경로 계획, 시나리오 타입(예: 차선 변경, 보호받지 않은 회전, 보행자 횡단 등) 등 high-level planning 어노테이션 포함 | • nuPlan 어노테이션(바운딩 박스, trajectory 등)을 기반으로 • 추가로 occupancy grid, flow(모션) 어노테이션 제공 • 3D 장면 내 정적/동적 특성 상세 분석 가능 | • 플래너의 출력(예측 경로 등)을 차량 제어에 반영한 후, 실제 주행 결과(예: 진행도, 충돌 여부, 안전 거리, 주행 편안성 등)에서 산출되는 평가 메트릭들 (closed-loop 평가 지표) |
| 평가 방식 | • 주로 open-loop 평가 (정적인 인식 성능 평가: AP, MOTA 등) | • Closed-loop 평가: 플래너가 과거 데이터를 입력받아 미래 경로를 예측하고, 이 경로를 실제 차량 제어 (예: LQR 컨트롤러)를 통해 반영하여 그 결과가 누적되는 효과 평가 | • 주로 open-loop 평가 방식(occupancy, 3D semantic segmentation 등) 사용 • 일부 planning 평가 시 closed-loop 시뮬레이션 환경과 결합 가능 | • Closed-loop 시뮬레이션 평가: ego 차량의 플래너 출력이 차량 제어에 반영되고, 그 결과가 환경과의 상호작용(주변 객체는 고정되어 있으나 ego의 변화에 따라 평가)로 나타남 |
| 활용 분야 | • 인식 기술 발전: 객체 검출, 트래킹, 분할, 포즈 추정, 지도 기반 localization 등 | • 자율주행 planning, 경로 계획, 의사결정, 실시간 차량 제어 및 안전성 평가 등 planning 중심 연구 | • 3D 장면 이해, occupancy 예측, open-vocabulary 기반 3D semantic segmentation, 엔드투엔드 주행 등 다양한 응용 연구 (데이터 경량화로 빠른 실험 가능) | • End-to-end 주행 평가, planning 알고리즘의 안전성, 충돌 위험, 주행 편안성 등 실시간 주행 성능 평가 및 비교, 시뮬레이션 기반 closed-loop 평가 환경 제공 |
| 주요 장점 | • 다양한 센서와 정밀 캘리브레이션 정보 제공 • 복잡한 도시 환경의 다중 모달 데이터로 인한 인식 성능 향상 | • 실제 주행 로그 기반의 고수준 planning 어노테이션 제공 • 다양한 시나리오(30+ 유형)를 통한 세밀한 planning 성능 평가 • closed-loop 평가 환경 구축 | • nuPlan의 강점을 유지하면서 데이터 용량 및 처리 부담을 크게 줄임 • occupancy 및 flow 어노테이션 추가로 3D 장면의 세부 특성 분석 가능 • 연구 접근성과 빠른 프로토타이핑 용이 | • 플래너의 결정이 실제 제어에 미치는 누적 효과를 평가할 수 있는 closed-loop 환경 제공 • 다양한 평가 메트릭(진행도, 충돌, 안전성 등)을 통해 실시간 주행 성능을 정밀하게 분석할 수 있음 |
| 한계 및 고려 사항 | • 방대한 데이터로 인해 처리 및 학습에 많은 컴퓨팅 자원 필요 • 주로 인식 분야에 초점 | • 주변 객체는 로그 기록대로 재생되므로, 실제 상호작용(주변 객체 반응)은 완벽하게 재현되지 않음 • 전체 데이터 용량이 매우 크므로 일부 연구자에게는 접근성에 부담 가능 | • 다운샘플링으로 일부 세밀한 센서 정보 손실 가능 • closed-loop 평가 기능은 nuPlan에 비해 제한적이며, 주로 occupancy 및 3D scene 이해에 중점 | • 주변 객체 반응은 반영되지 않고, ego 차량 중심의 제어 평가에 집중 • 완전한 상호작용 평가(주변 객체 반응 포함)는 어려워, 평가 결과 해석 시 한계가 있을 수 있음 |
| 구분 | nuScenes | nuPlan | OpenScene | NavSim |
|---|---|---|---|---|
| Focus Area | 자율주행 Perception (객체 탐지, 추적) | Motion Planning (시나리오 기반 경로 생성) | 3D Scene Understanding (씬 재구성/분석) | 내비게이션 시뮬레이션 (가상 환경 학습) |
| Data Modality | Camera, LiDAR, Radar, GPS/IMU | Camera, LiDAR, HD Map, 시뮬레이션 로그 | LiDAR, Camera, Semantic 라벨 | 합성 LiDAR/Camera, 시뮬레이션 트래픽 모델 |
| Key Features | - 3D BBox (23개 클래스) - 360도 다중 센서 - 1,000개 장면 | - 계층적 시나리오 분류 (4단계) - 전문가 궤적 및 고수준 목표 - 1,300+ 시간 데이터 | - 점군 기반 씬 분할 - 개방형 3D 씬 데이터 - 다중 도시 환경 | - 합성 환경 (e.g., 교차로, 고속도로) - 다중 에이전트 트래픽 - 충돌 회피 시나리오 |
| Annotation Type | 3D 객체 박스, 속도, 가속도, 궤적 | 시나리오별 미션 목표, 제약 조건, 위험 영역 | 점군별 Semantic 라벨 (e.g., 도로, 건물) | 이상적 경로, 충돌 플래그, 시뮬레이션 메타데이터 |
| Data Size | 1.4M 이미지, 390k LiDAR 스윕, 242km 주행 | 1,300+ 시간, 4개 도시 (Boston, LV, Singapore 등) | 100k+ LiDAR 프레임, 50km² 씬 커버리지 | 10,000+ 시뮬레이션 시나리오, 무한 확장 가능 |
| Scenario Types | 일반 주행, 교차로, 보행자 밀집 지역 | 교차로, 로터리, 차량 끼어들기, 긴급 정차 | 정적 환경 (도로, 건물), 동적 객체 (제한적) | 합성 교차로, 주차장, 다차로 고속도로 |
| HD Map | ✅ (정적 지도 레이어 포함) | ✅ (동적 시나리오와 통합) | ✅ (씬 재구성을 위한 지도) | ✅ (가상 환경용 합성 HD 맵) |
| Tools/API | nuScenes DevKit (Python), 3D 시각화 도구 | nuPlan DevKit (시나리오 에디터, 평가 메트릭) | Open3D/ROS 호환 툴킷 | Python API, Unity/Unreal 연동 |
| Main Tasks | 객체 탐지, 추적, 동작 예측 | 경로 생성, 위험 평가, 시나리오 기반 벤치마크 | 3D 씬 분할, 씬 재구성, 시맨틱 매핑 | 경로 계획, RL 학습, 충돌 회피 최적화 |
| Availability | 공개 (비상업적 연구용) | 공개 (라이선스 필요) | 공개 (오픈소스) | 연구용 제한적 배포 |
ad_official