Open Dataset

haeryong·2023년 1월 30일

MLops Pipeline
1. 데이터 가져오기.
2. 데이터 탐색.(EDA)
- 클래스 분포, scale, 환경 등..

데이터 가공.(pre process)
- 노이즈 제거, augmentation...
데이터 검증.
데이터 나누기.
학습방법 결정.
모델 결정.
모델 검증.
대규모 학습.
...

1. KITTI Dataset

Setup

1 Inertial Navigation System (GPS/IMU): OXTS RT 3003
1 Laserscanner: Velodyne HDL-64E
2 Grayscale cameras, 1.4 Megapixels: Point Grey Flea 2 (FL2-14S3M-C)
2 Color cameras, 1.4 Megapixels: Point Grey Flea 2 (FL2-14S3C-C)
4 Varifocal lenses, 4-8 mm: Edmund Optics NT59-917

Object Detection dataset

세 종류의 Object Detection Dadaset을 제공한다.

2D Object Detection

Left, Right image.
Lidar data.
Calibration 정보.
labeling data

2D Object Detection Labeling Format

object development kit을 다운로드 받아 내부의 readme.txt 파일에서 확인.
실제 labeling data 확인.

2. BDD100K Dataset

BDD100K dataset website

다양한 도시, 다양한 날씨, 시간을 고려한 자율주행을 위한 데이터셋.

BDD100K dataset Download

Object Detection Dataset

100K Images 다운로드.

Detection 2020 Labels를 다운로드.

labeling data는 json 파일로 되어있다.

JSON(JavaScript Object Notation)

{}를 기준으로 블록을 분할.
"name" : value 형식으로 지정.
블록 단위로 들여쓰기.
[]은 배열을 의미.
,는 end line을 의미함.
C++의 경우 rapidjson 라이브러리를 이용해서 파싱.
python의 경우 import json.

import json

with open('sample.json', 'r', encoding='UTF-8') as json_file:
	sample = json.load(json_file)

3. Cityscape Dataset

segmentation을 위한 dataset
cityscape dataset website

sementic segmentation : 동일 클래스의 개체를 구분하지 않음.
instance segmentation : 동일 클래스의 개체를 구분함.

Segmentation Dataset

gtFine_trainvaltest.zip (241MB) 다운로드.
leftImg8bit_trainvaltest.zip (11GB) 다운로드.

Segmentation Labeling Format
하나의 image에 대해 4개의 labeling data가 존재한다.

leftImg8bit
- train
  - aachen(도시명)
    - aachen_000000_000019_leftImg8bit.png
gtFine
- train
  - aachen(도시명)
    - aachen_000000_000019_gtFine_color.png
    - aachen_000000_000019_gtFine_instanceIds.png
    - aachen_000000_000019_gtFine_labelIds.png
    - aachen_000000_000019_gtFine_polygons.json