[Week 7-3] 👀Object detection

7주차 수요일

• Object detection
• Two-stage detector
• One-stage detector

---

📝[Object detection]

classification과 Box localization을 동시에 수행하는 작업으로, 이미지 내에서 바운딩 박스를 찾고(위치 정보), 그 안에 어떤 물체가 있는지 분류한다(카테고리 정보). 자율주행이나 OCR(Optical Character Recognition) 등에 필요한 기술이다.

기존의 object detection 방식은 영상 내의 경계선(gradient)을 찾아내어 관심 물체인지 파악하는 Gradient-based detector, 색이나 gradient의 분포가 비슷한 영역을 묶어서 바운딩 박스(물체의 후보군)을 제안하는 Selective search 등 사람의 직관을 통해 설계된 알고리즘이었다.

---

📝[Two-stage detector]

selective search 등을 이용해 바운딩 박스를 추출하는 작업을 region proposal이라고 부른다. two-stage detector 모델은 region proposal을 통해 추출한 관심 영역(Region Of Interest) 정보를 사용한다. ROI를 추출하는 과정을 거쳐야 하기 때문에 속도가 느리다.

• R-CNN
  초기 딥 러닝 object detection 알고리즘인 R-CNN에서는 추출한 바운딩 박스가 CNN의 입력으로 적절한 크기가 되도록 wraping한 다음, fine tuning을 거친 사전 훈련된 CNN 모델에 입력해 카테고리를 판별하는 방법을 사용한다. 추출된 모든 바운딩 박스에 대해 작업을 수행하므로 시간이 느리고 학습을 통한 성능 향상에 한계가 있다는 단점이 있다.

• Fast R-CNN
  R-CNN의 속도를 개선하기 위한 알고리즘으로, CNN의 결과로 얻은 특성 맵을 재활용하는 방식을 사용한다. 먼저 CNN 레이어를 통해 특성 맵을 얻는다. 그리고 selective search 등을 통해 바운딩 박스들을 추출한다. 바운딩 박스 중 ROI에 해당하는 것을 아까 구한 전체 이미지의 특성 맵에 투영하면 ROI에 대한 특성 맵을 얻을 수 있다. 이후에 바운딩 박스를 더 자세히 추정하기 위한 regressor와 ROI의 카테고리 분류를 위한 classifier를 통과하게 된다. 특성 맵을 재활용하여 속도가 향상되었지만 여전히 사람의 직관에 의해 설계된 selective search 알고리즘에 의지한다. 사람에 의한 사전 작업이 필요하기 때문에 데이터만 가지고 성능을 올리기에는 한계가 있다.

• Faster R-CNN
  Fast R-CNN의 단점을 개선하기 위해 바운딩 박스를 추출하는 작업인 region proposal을 neural network 기반으로 대체하여 모든 부분이 neural network 기반인 최초의 object detection 알고리즘이다.
  
  📌IoU(Intersection over Union)
  object detection에 흔히 쓰이는 척도로, Area of Overlap / Area of Union으로 계산한다.
  

---

📝[One-stage detector]

region proposal을 통해 ROI를 찾는 과정을 거치지 않고 바로 regression을 통해 바운딩 박스를 찾는다. 찾아낸 바운딩 박스 영역에 대해 내용물을 분류하는 classification과 박스 영역을 더 정확하게 만드는 refinement를 수행한다. region proposal 단계를 생략했기 때문에 속도가 빠르고, 실시간 영상에도 적용 가능하다.

• YOLO(you only look once)
  입력되는 이미지를 일정 간격의 그리드로 나눠 바운딩 박스와 각 박스의 confidence 점수를 구한다.

• SSD(single shot multibox detector)
  어려워...