Visual Recognition Task

• image classification, Object Detection, Sementic segmentation 크게 3가지 분류
  

classification Vs object detection

classification

• image에서 feature를 뽑고 feature의 embadding space에서 decision boundary를 찾는 것이 목표
  

object detection

• feature map에서 위치 정보까지 근사 시킬 수 있다면?

• object detection + localization
  

• localization :class label을 찾는 과정이 아니라 objectness에 대한 위치가 어디인지만 찾아주는 것이 목표

• bounding box
  

• box를 localization하고 box에 대해 classification하여 Box가 무엇인지 예측

• Detection = Classification + Localization

• Box localization은 보통 object proposal을 뽑고, Box classification은 CNN architecture를 사용하거나 고전 적인 classification model인 Support Vector Machine(SVM)과 같은 classifier를 사용
  

• Segmented region proposals을 사용하여 candidate object
  locations 구함

• SVM으로 object recognition(객체 인식)

evaluation

• IOU, Recall, Precision, AP, mAP, FPS, FLOPs...

IOU(intersection of Union)

Recall & Precision

• Recall : 정답 box를 맞춘 수 / 전체 정답 box수
• Precision : 예측한 box중에 정답을 맞춘 수 / 예측한 box수

AP & mAP

• AP : Presision-Recall curve 아래 면적
  

• mAP : mean Average Presision, 각 class별 계산한 AP의 평균
  

FPS & FLOPs(속도)

• FPS : Frames Per Second, 초당 처리 가능한 frame 숫자
• FLOPs : Floating Point Operations, model이 얼마나 빠르게 동작하는지 측정하는 metric, 연산량 횟수
  

Algorithm

• 크게 1stage detector, 2stage detector로 분류할 수 있다.
  

1stage detector VS 2stage detector

• 2stage detector : localization과 classification 문제를 순차적으로 진행한다.-> 비교적 느리지만 정확도가 높음

• 1stage detector : localization과 classification문제를 한번에 해결한다. -> 비교적 빠르지만 정확도가 낮음
  

2stage detector

• Region based CNN(R-CNN)
  

• spacial pyramid pooling
  

• Fast R-CNN
  

• ROI pooling
  

• Faster-RCNN : fast-rcnn + Region Proposal Network
  

• Mask R-CNN
  

1stage detector

• YOLO : You Only Look Once
  

Convolution Additional Object Detection Techniques

• beckbone-neck-head
• beckbone(restnet, vggnet....)
  - bottom : input img
  • middle : conv layer
  • top : feature map
• Neck : backbone과 head사이를 이어주는 연결부(다양한 사이즈의 feature map을 사용하기 위함)

Additional Object Detection Techniques

• FPN(Feature Pyramid Network)
  

• Path Aggregation Network(PANet)
  

• EfficientDet
  

Advanced Object Detection

• Detection Transformer(DeTR)