Waymo Open Motion Dataset (WOMD)

ad_official·2026년 3월 4일

들어가기전에: Waymo Open Motion Dataset (WOMD) 란?

  • WOMD라고도 부름
  • 여섯 도시에서 채집된 로그
  • 학습 486 995, 검증 44 097, 테스트 44 920 
  • 각 시나리오에는 150m by 150m HD roadgraph가 잘려서 포함되어 있음


nuplan VS WOMD

항목WOMD v1.2.1nuPlan (2025‑06 기준)
총 주행 시간574 시간 (세그먼트 103 k × 20 s)1 282 시간 (로그 15 k × 평균 300 s)
도시 수6개
샌프란시스코·피닉스·LA·시애틀·디트로이트·마운틴뷰
4개
라스베이거스·보스턴·피츠버그·싱가포르

센서·주석WOMD v1.2.1nuPlan
LiDAR1개 중거리 + 4개 단거리 → 포인트클라우드 임베딩 제공
(원본 점 구름은 제공 X)
동일 구성 + 원본 점 구름(10 Hz) 128 h 분량 제공
카메라8대 360° 영상 → 이미지 임베딩만 제공6–7대 멀티뷰 원본 영상(부분 제공)
객체 클래스3종 (차·보행자·자전거)9종 + 교통신호 상태·차선 ID
지도 정보고해상도 Lane Graph (차선 중심선, 경계)Lane Graph + 미션 루트(출발·목적지), 교차로 태그




Waymo Sim Agents Challenge


어떤 데이터셋 split으로 평가해?

  • WOMD 검증·테스트 split에 포함된 (검증 44 097, 테스트 44 920 )
    • 수만 개의 시나리오를 모두 돌려 얻은
    • 시나리오‑별 점수를 단순 평균한 값
  • 시뮬레이션은 자동차 제어 Loop(50~100 ms) 안에 끝나야 한다 .

내 학습 모델 굴리는 방법

  • input
    • 과거 1초 log
    • HD map
  • output
    • multi agent에 대해, closed loop로 1 step씩 80 step(0.1초 간격 이므로 8초) 미래 궤적을 생성함.
      • 위 행동을 32번 반복함

하드웨어, FPS 조건?

  •  학습·추론에 쓰는 GPU·CPU 종류나 개수에는 아무 제한이 없습니다.




2. 평량적 평가 metric



2.1. Realism Meta Metric (RMM)

  • 실제 교통 데이터와, 우리 학습 모델의 데이터가 얼마나 유사한가? 를 평가.
    • 실제 교통 데이터의 분포를 얼마나 잘 모사했는가?
  • 데이터 분포 모사가 목적이지, 안전하고 빠르게 가는 차량을 만드는게 목적이 아님
    • 예: 충돌을 0으로 만드는 편법은 오히려 Distribution Mismatch를 키워 Map·Kinematic 점수를 깎을 수 있습니다

Realism Meta 측정 방식

  • Realism Meta 는 총 28개 항목에 대해서 종합적으로 평가하는 metric
  • 28개 항목은 아래 3가지 카테고리로 나누어짐
  • Kinematic (8개)
    • 속도·가속도·각속도처럼 ‘차가 어떻게 움직였나’
  • Interactive (9개)
    • 충돌 횟수, TTC 같이 ‘차들끼리 어떻게 상호작용했나’ 
  • Map-based (11개)
    • 차선 이탈, 도로 밖 주행 등 ‘지형 규칙을 얼마나 지켰나’
  • 위 28개 항목에 대해 점수(i\ell_i)를 각각 매긴 후, weighted(wiw_i) sum을 수행합니다.
Meta=i=128wii,i= ⁣bplog(b)logpsim(b)\text{Meta}= -\sum_{i=1}^{28} w_i\,\ell_i, \quad \ell_i=-\!\sum_{b} p_{\text{log}}(b)\,\log p_{\text{sim}}(b)
  • 다만 i\ell_i 를 어떻게 계산하는건지, 어려움. 아래에 설명합니다.

가장 쉬운 선속도에 대한 i\ell_i 를 설명


총 평가 항목

그룹#이름(축약)직관적 설명단위
Kinematic1Linear Speed순간 속도 (\mathbf{v})m/s
2Linear Accel(\dot{\mathbf{v}})m/s²
3Linear Jerk(\ddot{\mathbf{v}})m/s³
4Angular Speed요(rate) (\omega)rad/s
5Angular Accel(\dot{\omega})rad/s²
6Angular Jerk(\ddot{\omega})rad/s³
7Heading Change Rate1‑스텝 헤딩 차 Δθ\Delta\thetarad
8Heading AccelΔ2θ\Delta^2\thetarad
Interactive9Nearest‑Dist가장 가까운 객체까지 거리m
10Collisions충돌 여부(0/1)-
11TTCTime‑to‑Collisions
12Inv‑TTC1/TTC1/\text{TTC} 보조항목1/s
13Relative Speed앞차와 속도 차m/s
14Overtake Count추월 횟수#
15Cut‑in Count차선 끼어들기 횟수#
16Follow‑Headway앞차 기준 시간 간격s
17Gap Closing Rate거리 감소 속도m/s
Map‑based18Road‑Edge Dist도로 가장자리 거리m
19Off‑road Flag도로 이탈 여부-
20Centerline Dist차선 중심선 거리m
21Lane‑Change Count차선 변경 횟수#
22Traffic‑Light Stop정지선 지킴 여부-
23Stop‑Sign Compliance정지표지 준수여부-
24Speed‑Limit Violation제한속도 초과 비율%
25Wrong‑Way Flag역주행 여부-
26Intersection‑Encroach교차로 중앙 침범 거리m
27Turn‑Heading Error회전 각 편차rad
28Trajectory‑Smoothness궤적 곡률 변화1/m

(28개 평가 항목

  • 실제 구현은 9 개 ’코어’ 지표를 사용한 초기 버전과, 위처럼 28 개로 확장한 V1(2023.12) 양쪽이 존재
  • 9 개 코어 항목(선속·선가속·각속·각가속·최근접 거리·충돌·TTC·도로 가장자리 거리·오프로드)은 모든 버전 공통


2.2. 참고: minADE (최소 평균 변위 오차)


뭘 측정하는거야?

  • 가장 잘 맞는 후보가 1개라도 포함돼 있다면 minADE 점수가 높게 나오므로, minADE는 “포괄성(coverage)”을 측정합니다.
  • 한계가 있는 metric이라고 합니다.

profile
ad_official

0개의 댓글