Evaluation
- Precision : TP / (TP + FP)
- Recall : TP / (TP + FN)
- PR Cruve : 각 confidence의 Precision/Recall 값을, confidence 내림차순으로 그린 것
- AP(Average Precision) = Precision/Recall Curve의 넓이
- mAP(mean Average Precision) : 각 클래스의 AP의 평균
- IOU(Intersection Over Union)
- 일반적 정확도는 localization 정도인 IOU와 정확도인 mAP를 합쳐서 기준으로 잡는다. → mAP50, mAP60, mAP70, …
- FLOPs(Floating Point Operations) Model 이 얼마나 빠르게 동작하는지 metric 연산량 횟수 : 곱하기와 더하기를 각각 한 번으로 본다.
라이브러리 종류
- MMDetectin
- Detectron2
- YOLOv5
- EfficientDet
Object Detection Domain 특성
-
통합된 라이브러리의 부재
→ 라이브러리에 대한 이해도가 높아야 사용하기 수월하다
→ 각각 config 파일에서 설정가능한 parameter들이 무엇을 의미하는지 파악해야 한다.
-
복잡한 파이프라인
→ 모델의 파이프라인이 전체적으로 다 복잡하다
→ 모델이 무겁다
-
엔지니어링적인 측면
→ 모델이 문제에 적합한지 실험적인 증명이 필요
→ Custom, Tuning이 많이 들어가야함
-
Resolution이 성능에 영향을 많이 미쳐서, 사진의 크기가 큰 편
