[9주차] Object Detection Evaluation

Evaluation

• Precision : TP / (TP + FP)
• Recall : TP / (TP + FN)
• PR Cruve : 각 confidence의 Precision/Recall 값을, confidence 내림차순으로 그린 것
• AP(Average Precision) = Precision/Recall Curve의 넓이
• mAP(mean Average Precision) : 각 클래스의 AP의 평균

• IOU(Intersection Over Union)

• 일반적 정확도는 localization 정도인 IOU와 정확도인 mAP를 합쳐서 기준으로 잡는다. → mAP50, mAP60, mAP70, …
  
• FLOPs(Floating Point Operations) Model 이 얼마나 빠르게 동작하는지 metric 연산량 횟수 : 곱하기와 더하기를 각각 한 번으로 본다.
  

라이브러리 종류

1. MMDetectin
2. Detectron2
3. YOLOv5
4. EfficientDet

Object Detection Domain 특성

1. 통합된 라이브러리의 부재

   → 라이브러리에 대한 이해도가 높아야 사용하기 수월하다

   → 각각 config 파일에서 설정가능한 parameter들이 무엇을 의미하는지 파악해야 한다.

2. 복잡한 파이프라인

   → 모델의 파이프라인이 전체적으로 다 복잡하다

   → 모델이 무겁다

3. 엔지니어링적인 측면

   → 모델이 문제에 적합한지 실험적인 증명이 필요

   → Custom, Tuning이 많이 들어가야함

4. Resolution이 성능에 영향을 많이 미쳐서, 사진의 크기가 큰 편