인프런 강의 자료를 기반으로 정리한 딥러닝 컴퓨터 비전 공부 내용을 정리한 내용입니다.
Object localization이란?
Object Localization은 입력 이미지에 하나의 Object만 존재하고, VGG/ResNet과 같은 Feature Extractor를 사용하여 Feature Map을 추출하고, Dense Layer를 거쳐 Object의 Label을 학습하는 기술이다. 기존의 딥러닝과 유사하지만, 이미지 전체 영역에 대해 Classification을 하는 것이 아닌, Bounding Box Regression을 적용하여 해당 위치에 존재하는 Bounding Box 내에 Feature Map을 적용하고, 그것을 기반으로 Classification을 수행한다. 이를 통해 Object Detection에서는 입력 이미지에서 Object의 위치를 찾아내고, 해당 위치에 대한 정보를 추출하여 Object Detection을 수행한다.
Object localization 예측 결과
- Confidence Score: Confidence Score는 해당 Bounding Box가 선택된 클래스에 속할 확률을 의미한다. 일반적으로 0과 1사이의 값으로 표현되며, 값이 높을수록 해당 Bounding Box가 선택된 클래스에 속할 확률이 높다는 것을 의미한다.
두개 이상의 Object를 검출은 어떻게 할까?
Object localization의 기법을 두개 이상의 object가 있는 이미지에 적용을 해보면 파란색과 빨간색 차 사이에 bounding box를 regression하며, 엉뚱한 classification 값을 내놓는 문제가 발생하였다.
Sliding window방식
여러 object의 bounding box 위치를 찾기 위해 초기에 적용된 아이디어 중 대표적인 방법으로 sliding window방식이 있다. 이름 그대로 window를 왼쪽상단에서 오른쪽 하단으로 탐색하면서 object를 detection하는 방식이다.
object가 정사각형으로 있는 것도 아니고, 크기가 다양하기 때문에 window크기를 다양하게 하거나, 이미지 크기를 다양하게 변화시켜 적용한다. 이렇게 하면 시간이 오래걸리고, 검출 성능이 상대적으로 낮다.
region proposal(입력 이미지에서 Object가 존재할 가능성이 높은 위치를 찾아내는 기법)이 등장하면서 활용도는 떨어졌지만, object detection의 기술적 토대를 제공하였다.
Region Proposal(영역추정)
object가 있을 만한 후보 영역을 찾는 기법
Selective search(SS)
Selective Search는 이미지에서 Object가 존재할 가능성이 높은 영역을 찾아내기 위해, 이미지를 여러 개의 작은 영역으로 분할한 후, 유사도가 비슷한 segment를 그룹핑을 계속 반복하여 이웃하는 영역을 합쳐가며 Object가 존재할 확률이 높은 영역을 찾아낸다.
빠른 Detection과 높은 Recall 예측 성능을 동시에 만족하는 알고리즘 이다.
Selective Search는 입력 이미지의 크기나 Object의 크기, 색상 등의 다양한 특징을 고려하여 Object Detection에 적합한 Region Proposal을 생성할 수 있다. Faster R-CNN, RCNN, Mask R-CNN 등의 Object Detection 모델에서는 Selective Search를 이용하여 Region Proposal을 생성하고, 해당 Region Proposal에 대해 Classification과 Bounding Box Regression 과정을 수행하여 Object Detection을 수행한다.
