object detection

history

Evaluation

• mAP : 각 클래스 당 AP의 평균
  • Average Precision
    • confusion matrix
      
      precision = Positive case 중에서 맞았을 확률
      $precision = \frac{TP}{TP+FP} = \frac{TP}{All\,Detections}$
      Recall = 옳게 예측한 확률
      $Recall = \frac{TP}{TP+FN} = \frac{TP}{All\,Ground\,truths}$
      
    • PR Curve : 모든 case에 대해 누적 TP, 누적 FP를 구하고 이를 이용해 precision과 recall을 구하는 방법, 이를 이용해 그래프를 그릴 수 있다.
      
      Average Precision은 이 PR Curve의 넓이가 된다.
      $mAP = \frac{1}{n}\sum_{k = 1}^{k = n}AP_k$
  • IOU(InterSection Over Union)
    
    detection의 경우에 class만을 예측하는 것이 아니고, bounding box를 같이 예측을 하기 때문에 bounding box가 제대로 적용되었는지 구분하는 지표가 필요하다. 박스가 겹칠때 box가 겹친 영역/ 두 box의 전체 영역으로 구할 수 있다.
    IOU값에 따라 mAP값이 바뀔 수 있다.
• FPS
  
• Flops
  Floating point operation, 모델이 얼마나 빠르게 동작하는지 측정하는 metric
  
  

Library

• MMDetection : pytorch기반의 object detection open source
• Detectron2 : 페이스북 AI research의 library로 pytorch 기반의 object detection과 segmentation의 알고리즘을 제공한다.
• YOLOv5 : coco dataset사용, Colab, kaggle, docker, AWS, google cloud platform등에서 open source를 제공한다.
• EfficientDet = EfficientNet을 응용해 만든 object detection 모델,TF로 제공되며, github에 pytorch를 기반으로 구현된 것도 존재한다.

Object Detection Domain 특성

• 통합된 library의 부재
• 엔지니어링 적인 측면 강함
  • 어떤 모델이 풀고자 하는 문제에 적합한지 실험적인 증명이 필요
  • Custom, tuning 하는 과정에서 개발 수준의 활용 필요
• 복잡한 파이프라인
• 높은 성능을 내기 위해서 무거운 모델을 활용
• Resolution이 성능에 영향을 많이 끼쳐 사진의 크기가 큼