Navsim 데이터셋 split

ad_official·2025년 2월 22일
0

[AD] dataset

목록 보기
9/12
  • standard 스플릿인 trainval, test, mini는 OpenScene 데이터셋에서 제공
    • 데이터는 nuPlan 데이터셋에 해당하며 2Hz로 다운샘플링된 데이터를 사용
CategoryNameDescriptionLogsSensorsConfig Parameters
Standardtrainval일반 주행 녹화 데이터를 사용한 에이전트 학습 및 검증용 대형 스플릿. nuPlan에 해당하며 2Hz로 다운샘플링됨.14GB>2000GBtrain_test_split=trainval
Standardtest일반 주행 녹화 데이터를 사용한 에이전트 테스트용 소형 스플릿. nuPlan에 해당하며 2Hz로 다운샘플링됨.1GB217GBtrain_test_split=test
Standardmini일반 주행 녹화 데이터를 사용한 데모 스플릿. nuPlan에 해당하며 2Hz로 다운샘플링됨.1GB151GBtrain_test_split=mini
NAVSIMnavtrainNAVSIM에서 비정형 주행 장면들을 포함한 에이전트 학습용 표준 스플릿. 센서는 별도로 제공(다운로드: download_navtrain.sh)되며, 히스토리 포함 시 445GB (*히스토리 미포함 시 300GB).-445GB*train_test_split=navtrain
NAVSIMnavtestNAVSIM에서 비정형 주행 장면들을 포함한 에이전트 테스트용 표준 스플릿. 테스트 스플릿에 대한 필터로 제공됨.--train_test_split=navtest
Competitionwarmup_test_e2e허깅페이스 제출 검증용 웜업 테스트 스플릿. mini 스플릿에 대한 씬 필터로 제공됨.--train_test_split=warmup_test_e2e
Competitionprivate_test_e2e챌린지 리더보드를 위한 프라이빗 테스트 스플릿.<1GB25GBtrain_test_split=private_test_e2e

*참고: 센서 데이터의 경우 navtrain은 히스토리를 포함하면 445GB, 히스토리 없이 다운로드 시 약 300GB가 필요합니다.

  • 표준 training / test splits에 대한 overviews
    • 로그는 항상 전체 데이터셋 스플릿입니다.
    • 모든 스플릿은 각각 별도로 다운로드할 수 있는 OpenScene 데이터셋을 기반
    • 도전적인 시나리오에 대해 필터링된 학습 및 평가 스플릿(아래 표의 NAVSIM 참조)에서 학습 및 평가를 진행할 수도 있으며,
      • 이는 비교 가능하고 경쟁력 있는 결과를 효율적으로 도출하기 위한 권장 옵션
      • NAVSIM 스플릿은 겹치는 장면들이 포함되어 있는 반면, Standard 스플릿은 겹치지 않습니다.
      • NAVSIM/navtrain : Standard/trainval 데이터 기반
        • Standard/trainval 센서 데이터의 용량이 매우 크기 때문에,
        • NAVSIM/navtrain에 필요한 프레임만 로드하는 별도의 다운로드 링크를 제공
          • 이는 전체 Standard/trainval 스플릿이 아닌 NAVSIM/navtrain 스플릿만 사용하려는 사용자에게 접근성을 높임
          • 만약 이미 전체 Standard/trainval 센서 데이터를 다운로드했다면,
            • NAVSIM/navtrain 프레임을 추가로 다운로드할 필요는 없습니다.
      • NAVSIM/navtest : Standard/test 데이터 기반
    • 데이터셋 스플릿: 다운로드 가능한 logs 집합을 의미하는 반면,
    • 학습/테스트 스플릿:
      • 이 logs 로부터 장면(scene)을 추출하는 방법을 정의하는 scene filter로 구현
      • OpenScene 데이터셋 스플릿을 서브샘플링(subsample)한 것

  • navtrain 다운로드 시, 파일 누락이 보고된 바 있어, .tgz 파일의 MD5 체크섬을 제공하여 다운로드된 파일의 손상 여부를 확인할 수 있습니다.
  • .tgz 파일을 삭제하지 않고(즉, download_navtrain.sh의 12번째 및 22번째 줄을 제거) 재다운로드한 후 다음 명령어를 실행할 것을 권장합니다.
echo "6f92f38d5f03ed852da7872a7122bdd2  navtrain_current_1.tgz" | md5sum -c -
echo "7a72f0a758b5df6cbe4c565920a4869f  navtrain_current_2.tgz" | md5sum -c -
echo "b083fce1428308abb5682a1a150cc1af  navtrain_current_3.tgz" | md5sum -c -
echo "68354ac2c993aa1ebbfac59547fdb840  navtrain_current_4.tgz" | md5sum -c -
echo "dc46ed34d92d5ab9cc1464d67b72fbf6  navtrain_history_1.tgz" | md5sum -c -
echo "fab177bdb79c0c9536da1566d13e5995  navtrain_history_2.tgz" | md5sum -c -
echo "71ed9a2387edc3849921861d7873c7f0  navtrain_history_3.tgz" | md5sum -c -
echo "2cc13aced2f458e50fe4cc2f26d18e07  navtrain_history_4.tgz" | md5sum -c -
  • 예상 출력
navtrain_current_1.tgz: OK
navtrain_current_2.tgz: OK
navtrain_current_3.tgz: OK
navtrain_current_4.tgz: OK
navtrain_history_1.tgz: OK
navtrain_history_2.tgz: OK
navtrain_history_3.tgz: OK
navtrain_history_4.tgz: OK
profile
ad_official

0개의 댓글