1. GPT
- OpenScene 데이터셋은 자율주행의 3D 장면 이해(3D scene understanding), 특히 점유(occupancy) 예측 및 엔드투엔드 주행(End-to-End Driving) 관련 연구를 위해 설계된, nuPlan 데이터셋을 기반으로 한 축소판(compact redistribution)
- nuPlan이 원천적으로 방대한 센서 데이터와 planning 관련 어노테이션을 제공하는 반면,
- OpenScene은 그 중 핵심적인 정보만을 선별하여 데이터 빈도와 용량을 크게 줄임으로써 연구자들이 보다 쉽게 활용할 수 있도록 제작
1. OpenScene 데이터셋의 주요 특징
1.1. 데이터 축소 및 효율성
- 축소 빈도:
OpenScene은 nuPlan 데이터셋의 센서 데이터 중 필수 정보(예: 카메라, LiDAR, 메타데이터 등)를 2Hz로 다운샘플링하여 저장합니다. - 데이터 구성:
OpenScene은 nuPlan의 원천 로그를 기반으로, 120시간 이상의 주행 데이터를 포함하며, 각 프레임에 대해 센서 블롭(sensor blobs)과 메타데이터(meta_datas)를 제공합니다. 또한, 기존의 3D 바운딩 박스 정보 외에도 occupancy(점유) 및 flow(모션) 어노테이션을 추가로 제공하여, 3D 장면의 공간적 점유 상태와 움직임 정보를 활용한 연구가 가능하도록 합니다.
1.2. 특화된 어노테이션
- Occupancy Annotation:
- nuPlan은 주로 planning과 trajectory 예측에 초점을 맞추었으나,
- OpenScene은 각 LiDAR 프레임을 20초 동안 누적하여 공간 내의 점유(grid) 상태를 어노테이션합니다.
- 이를 통해 차량 주변의 정적 및 동적 장애물, 도로의 자유 공간 등을 세밀하게 파악할 수 있습니다.
- Flow Annotation:
OpenScene은 점유 그리드와 함께 각 영역의 모션(즉, 움직임의 방향 및 속도)을 나타내는 flow 어노테이션도 제공합니다. 이는 향후 3D Occupancy Prediction이나 모션 예측과 같은 연구에 유용한 정보를 추가해 줍니다.
1.3. 유연한 활용성과 응용 분야
- 엔드투엔드 주행 및 시각적 사전학습(Visual Pretraining):
OpenScene은 단순한 인식(Detection)뿐만 아니라, 엔드투엔드 주행, 3D 점유 예측, 그리고 open-vocabulary 3D scene understanding과 같은 응용 분야에 적합하도록 구성되어 있습니다. - 경량화된 데이터로 빠른 프로토타이핑:
nuPlan과 비교할 때, OpenScene은 다운샘플링된 센서 데이터와 간소화된 어노테이션 구조 덕분에 모델 학습과 실험에 소요되는 자원과 시간이 크게 감소되어, 빠른 프로토타이핑과 실험이 가능합니다. - 다양한 스플릿 구성:
OpenScene은 mini, trainval, test, private test 등 여러 스플릿을 제공하여, 초기 연구 단계에서 소규모 데이터로 빠르게 실험한 후, 대규모 데이터로 성능을 검증할 수 있도록 지원합니다.
2. nuPlan 데이터셋과의 비교
| 항목 | nuPlan | OpenScene |
|---|---|---|
| 목적 | 자율주행 차량의 종합적인 경로 계획 및 의사결정 평가를 위한 벤치마크 (Closed-loop 평가 기반) | nuPlan 데이터에서 핵심 정보를 선별·다운샘플링하여 3D 장면 이해, 점유(occupancy) 예측 및 open-vocabulary 3D scene understanding 등 다양한 응용 분야에 특화 |
| 원천 데이터 및 데이터 규모 | Motional이 수집한 1,200~1,500시간 이상의 주행 로그와 16TB 이상급 센서 데이터를 기반으로 함 | nuPlan의 방대한 데이터를 기반으로 핵심 센서 데이터와 어노테이션만 2Hz로 다운샘플링(약 120시간 분량)되어, 저장 용량은 20TB+에서 약 2TB로 90% 이상 축소됨 |
| 저장 용량 | 약 20TB 이상 | 약 2TB (원본 대비 약 90% 감소) |
| 샘플링 주파수 | 원본 로그는 10Hz 등 고주파수 센서 데이터 | 다운샘플링되어 2Hz |
| 주요 어노테이션 / 주석 유형 | 3D 바운딩 박스, 트래젝토리, planning 관련 메타데이터 (예: 목표, 신호등 상태 등) | nuPlan의 어노테이션(바운딩 박스, 트래젝토리 등)에 더해, 공간의 점유(occupancy grid)와 유동(flow) 어노테이션을 추가하여 3D 장면의 정적/동적 특성을 상세하게 파악할 수 있도록 제공 |
| 평가 방식 | Closed-loop 평가: 플래너가 예측한 경로를 차량 제어 알고리즘(예: LQR 등)을 통해 실제 제어 입력으로 반영하고, 그 결과를 시간에 따라 누적하여 평가 (주변 객체는 로그 기록대로 재생) | 주로 occupancy 예측 등 open-loop 평가 방식(NAVSIM 기반)으로, 주행 환경 내 점유 상태나 모션 정보를 기준으로 평가 |
| 활용 분야 | 자율주행 planning, 경로 계획 및 의사결정 평가, 차량 제어의 안전성 및 주행 편안성 등 planning 중심 연구 | 3D 점유 예측, open-vocabulary 3D scene understanding, 엔드투엔드 주행, occupancy grid 및 flow 예측 등 3D 장면의 다양한 특성을 분석하는 연구에 적합 |
| 추가 기능 및 사용성 | 매우 방대한 원천 데이터를 바탕으로 정밀한 planning 평가가 가능하나, 고주파수 센서 데이터로 인해 학습 및 실험에 많은 컴퓨팅 자원이 요구됨 | 다운샘플링과 핵심 정보 선별을 통해 연구자들이 보다 쉽게 접근하고 빠르게 실험할 수 있도록 최적화되어 있으며, occupancy, flow 등 추가 어노테이션을 통해 3D 장면의 다양한 특성을 파악할 수 있는 기능 제공 |
2. perplexity
🌐 OpenScene 개요
OpenScene은 nuPlan 데이터셋을 기반으로 재구성된 대규모 3D 점유 예측 벤치마크로, CVPR 2024 Autonomous Grand Challenge의 공식 데이터셋입니다. 핵심 목표는 자율주행의 계획(Planning)과 예측(Prediction) 연구를 위해 최적화된 데이터 인프라를 제공하는 것
📊 기본 사양
- 원본 데이터: nuPlan (1,500시간 중 120시간 추출)
- 센서 구성: LiDAR 5대 + 카메라 8대 (nuPlan과 동일)
- 샘플링 주파수: 2Hz (원본 nuPlan 10Hz 대비 1/5 저하)
- 주요 주석:
- 3D 점유 그리드: 0.2m 해상도, 20초 연속 프레임
- 유동(Flow) 벡터: 각 그리드의 이동 방향/속도
- Bounding Box: 16개 객체 카테고리
🧠 기술적 혁신: OpenScene의 3대 특장점
1. 점유 라벨링 시스템
- 3D 볼륨 분할: 51.2m³ 공간을 256×256×32 그리드로 분할
- 다중 프레임 통합: 20초(40프레임) 간의 LiDAR 스캔 누적
# 점유 라벨 생성 예시
def generate_occupancy(lidar_frames):
voxel_grid = np.zeros((256,256,32), dtype=bool)
for frame in lidar_frames:
points = frame['points']
# 좌표 변환 (월드 → 에고 좌표계)
points_ego = transform_to_ego(points)
# 복셀화
indices = (points_ego / 0.2).astype(int)
voxel_grid[indices] = True
return voxel_grid- 유동 벡터 계산: 광류(Optical Flow) 기반 이동 패턴 추적
2. 데이터 최적화 전략
- 센서 다운샘플링:
- 10Hz → 2Hz로 감소 (데이터 용량 80% 절감)
- 키 프레임 중심 선별: 급격한 환경 변화 구간 우선 보존
- 메타데이터 재구성:
graph TD A[nuPlan 원본] --> B[불필요 데이터 필터링] B --> C[시나리오 태깅] C --> D[점유 라벨 병합] D --> E[최종 OpenScene 패키징]
ad_official