Object Detection의 원리를 알아보기 전에 비교적 쉬운 Object Localization 과정을 살펴봄
Object Localization 과정
원본 이미지를 VGG/ResNet 등으로 pretrain된 feature extrator를 이용해 추상화된 형태인 feature map을 만든 뒤, fully connected layer에 연결해 classification과 regression을 수행함.
Object Localization 예측 결과
Object Detection - 2개 이상의 object를 검출
- 이미지를 어느 위치에서 object를 찾아야 하는가?
-> object가 있을만한 곳
1. Sliding Window 방식
: Window를 왼쪽 상단에서부터 오른쪽 하단으로 이동시키면서 object를 detection하는 방식
- 다양한 형태의 window를 각각 sliding시키는 방식
- window scale은 고정하고 scale을 변경한 여러 이미지를 사용하는 방식
object detection의 초기 기법
object가 없는 곳도 sliding해야 하고, 여러 window와 scale을 가진 이미지를 스캔해서 검출해야 하므로 수행시간이 오래 걸리고 검출 성능이 상대적으로 낮음
region proposal(영역 추정)의 기술적 토대
2. Region Proposal (영역 추정)
: Object가 있을 만한 후보 영역을 찾자 (selective search)
Selective Search - Region Proposal의 대표 방법
컬러, 무늬, 크기, 형태에 따라 유사한 Region을 그룹핑 (=비슷한 애들끼리 나눔)
Selective Search의 수행 프로세스
1. 개별 segment된 모든 부분들을 bounding box로 만들어서 region proposal 리스트로 추가
2. 컬러, 무늬(texture), 크기(size), 형태(shape)에 따라 유사도가 비슷한 segment들을 그룹핑함
3. 다시 1번 step region proposal 리스트 추가, 2번 step 유사도가 비슷한 setment들 그룹핑을 계속 반복면서 region proposal 수행
Object Detection 성능 평가
IOU: Intersection over Union
: 모델이 예측한 결과와 실측(Ground Truth) Box가 얼마나 정확하게 겹치느나를 나타내는 지표
IoU에 따른 Detection 성능
NMS (Non Max Suppression)
: 비슷한 box 제거하는 방식
비슷한 box?
: Object가 있을만한 곳을 찾기 때문에 하나의 object에 비슷한 box가 생길 수 있음. 이를 하나의 box로 만드는 역할
- NMS 수행로직
- Detected된 bounding box 별로 특정 Confidence threshold 이하 bounding box는 제거
- 가장 높은 confidence score를 가진 box와 겹치는 다른 box를 모두 조사하여 IoU가 특정 threshold 이상인 box를 모두 제거
- 남아 있는 box만 선택
Object Detection 성능 평가 mAP
실제 object가 detected된 재현율의 변화에 따라 정밀도의 값을 평균한 성능 수치
정밀도(Precision)와 재현율(Recall)
정밀도: 예측을 positive로 한 대상 중에 예측과 실제 값이 positive로 일치한 데이터의 비율
재현율: 실제 값이 positive인 대상 중에 예측과 실제 값이 positive로 일치한 데이터의 비율
Object Detection에서는 검출 알고리즘이 실제 object들을 빠뜨리지 않고 얼마나 정확히 검출 예측하는지를 나타내는 지표
오차 행렬 (Confution Matrix)
: 이진 분류의 예측 오류가 얼마인지, 어떠한 유형의 예측 오류가 발생하고 있는지를 나타내는 지표
Object Detection에서 TP/FP/FN
Confidence threshold(임계값)에 따른 정밀도-재현율 변화
Confidence 임계값에 따라 정밀도와 재현율의 값이 달라짐
mAP (mean Average Precision)
AP는 한개의 object에 대한 성능 수치
mAP은 여러 오브젝트들의 AP를 평균한 값
