Object Detection
Dataset (nuScenes Dataset)
- v1.0 mini 와 v1.0 part 1 dataset 사용
- object detection은 10개의 class로 구분되어 있다
Object Detection 성능 평가 지표
- AP (Mean Average Precision) : Precision-Recall 곡선의 면적, 높은 mAP 값은 모델이 다양한 클래스에 대해 높은 precision과 recall을 가진다
- ATE (Mean Absolute Trajectory Error) : 2D 상에서의 Euclidean center distance (meters) 즉, 모델이 추정한 위치와 실제 위치 간의 차이를 의미한다
- ASE (Mean Absolute Scale Error) : orientation과 translation을 align 해 준 뒤의 3D IOU (1 - IOU)
- AOE (Average Orientation Error)
- 예측 값과 GT 사이의 가장 작은 yaw angle 차이 값 (radians)
- yaw angle은 차량의 주향 방향에 대한 각도를 의미한다
- AVE (Average Velocity Error) : velocity 차이의 L2 norm으로 velocity error의 절댓값 (m/s)
- AAE (Average Attribute Error) : 1에서 attribute classification accuracy를 빼준 값 (1 - acc)
- NDS (nuScenes Detection Score)
- mAP, mATE, mASE, mAOE, mAVE, mAAE에 가중치를 부여하여 합산한 값
- TP 오류를 TP 점수로 변환한다
- mAP에는 가중치 5를 할당하고 나머지에는 가중치 1을 할당하여 계산한다
결과 비교
| dataset | epoch | mAP⇧ | mATE⇩ | mASE⇩ | mAOE⇩ | mAVE⇩ | mAAE⇩ | NDS⇧ | Eval time (s) |
|---|---|---|---|---|---|---|---|---|---|
| v1.0 mini | 20 | 0.1685 | 0.5884 | 0.4970 | 0.9463 | 1.4115 | 0.4628 | 0.2348 | 4.5 |
| v1.0 mini | 80 | 0.1962 | 0.5061 | 0.5055 | 0.7282 | 1.0762 | 0.3330 | 0.2908 | 3.7 |
| v1.0-trainval-1 | 20 | 0.4181 | 0.4012 | 0.3433 | 0.4573 | 0.5910 | 0.3490 | 0.4949 | 1.3 / Local |
- 같은 dataset에서 epoch를 늘린 경우가 그렇지 않은 경우보다 성능이 좋다
- 하지만 mini dataset은 데이터의 수가 적기 때문에 성능이 좋은 편은 아니다
- v1.0-trainval-1의 경우 데이터의 수가 훨씬 많기 때문에 mini의 경우보다 성능이 좋다
- 딥러닝을 학습할 때는 epoch도 중요하지만 데이터의 절대적인 수가 매우 중요하다
dataset : v1.0 mini / epoch : 20
| Object Class | AP⇧ | ATE⇩ | ASE⇩ | AOE⇩ | AVE⇩ | AAE⇩ | Dist AP@0.5 | Dist AP@1.0 | Dist AP@2.0 | Dist AP@4.0 | mean AP |
|---|---|---|---|---|---|---|---|---|---|---|---|
| car | 0.630 | 0.277 | 0193 | 0.923 | 0.493 | 0.232 | 46.76 | 30.96 | 69.90 | 74.30 | 0.6297970530209718 |
| truck | 0.158 | 0.318 | 0.287 | 0.439 | 0.886 | 0.270 | 10.90 | 13.24 | 15.25 | 24.01 | 0.15849554291426088 |
| bus | 0.078 | 0.880 | 0232 | 0.798 | 3.742 | 0.829 | 0.00 | 3.26 | 7.98 | 19.86 | 0.07774084063257547 |
| trailer | 0.000 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| construction_vehicle | 0.000 | 1.000 | 1.000 | 1.000 | 1.000 | 1.000 | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| pedestrian | 0.740 | 0.290 | 0.269 | 1.362 | 1.027 | 0.211 | 65.40 | 74.24 | 76.35 | 79.81 | 0.7395133329115092 |
| motorcycle | 0.069 | 0.256 | 0.310 | 1.615 | 1.041 | 0.155 | 5.74 | 6.98 | 7.02 | 7.87 | 0.06904350200740915 |
| bicycle | 0.003 | 0.407 | 0.521 | 1.070 | 2.103 | 0.006 | 0.00 | 0.29 | 0.51 | 0.51 | 0.0032737595888300826 |
| traffic_cone | 0.000 | 0.140 | 0.584 | nan | nan | nan | 0.00 | 0.00 | 0.00 | 0.00 | 0.00 |
| barrier | 0.007 | 1.316 | 0.575 | 0.309 | nan | nan | 0.00 | 0.00 | 1.13 | 1.68 | 0.00700824102726923 |
epoch 50
epoch 80
Tracking 결과
tracking 결과
AMOTA AMOTP RECALL MOTAR GT MOTA MOTP MT ML FAF TP FP FN IDS FRAG TID LGD
bicycle 0.000 1.603 0.345 0.000 58 0.000 0.262 0 5 530.6 17 833 38 3 1 0.62 1.88
bus 0.117 1.515 0.453 0.444 86 0.186 0.655 1 2 30.8 36 20 47 3 5 3.25 3.62
car 0.609 0.856 0.647 0.856 2729 0.541 0.356 60 48 153.1 1725 248 963 41 25 1.71 2.30
motorcy 0.047 1.445 0.261 0.328 238 0.084 0.357 1 5 59.4 61 41 176 1 3 2.00 4.21
pedestr 0.668 0.540 0.786 0.791 1470 0.591 0.362 53 17 173.5 1098 229 314 58 18 0.76 1.17
trailer 0.000 2.000 0.000 0.000 41 0.000 2.000 0 1 500.0 0 nan 41 nan nan 20.00 20.00
truck 0.176 1.344 0.226 0.725 177 0.164 0.284 0 6 9.1 40 11 137 0 0 1.00 3.83
Aggregated results:
AMOTA 0.231
AMOTP 1.329
RECALL 0.388
MOTAR 0.449
GT 685
MOTA 0.224
MOTP 0.611
MT 115
ML 84
FAF 208.1
TP 2977
FP 1382
FN 1716
IDS 106
FRAG 52
TID 4.19
LGD 5.29
Eval time: 46.8s
