🎈 본 리뷰는 YOLO v1 논문 및 리뷰 등을 참고해 작성했습니다.

Key Words

🎈 Extremely Fast
🎈 one-stage model
🎈 Grid cell
🎈 DarkNet
🎈 Responsible

Introduction

✔ 기존의 Object Detection 모델들인 R-CNN & DPM은 two-stage detector이라는 점, 그 결과 stage간의 병목 현상으로 속도가 느립니다. 하지만 본 논문에서 제시하는 YOLO는 one-stage detector로써, localization과 classification을 하나의 네트워크로 수행합니다. 그 결과 extremely Fast 속도를 보였습니다. Base YOLO network의 경우 45 FPS, Fast YOLO network의 경우 150 FPS의 속도를 보였습니다.

✔ YOLO는 sliding window와 regions proposal와 달리 image를 전체적을오 추론합니다. 또한 YOLO는 새로운 도메인 및 새로운 이미지의 적용에 대해서도 적합합니다.

Unified Detection

✔ YOLO는 전체 이미지에 대한 feature을 사용해 bound-box + confidence와 Class probability에 대한 예측을 동시에 진행한다.

✔ Input image를 S x S grid로 나눕니다. grid로 나눈다는 건 체스판과 같이 S만큼 일정하게 칸을 나눈다고 생각하시면 됩니다. Grid가 YOLO의 가장 중요한 포인트 중 하나라고 생각합니다. 만약 grid cell이 물체의 중심에 위치한다면, 그 grid cell에게 물체를 detecting할 responsible을 줍니다.

✔ 각 grid cell은 B bounding boxes와 confidence score을 예측합니다. confidence score은 box안에 물체가 있는지, 예측한 box가 얼마나 정확한지를 보여줍니다. 그리고 confidence = $pr(Object)$ * $IoU(tred pred)$로 정의합니다. 여기서 $pr(Object)$은 물체가 grid cell안에 있지 않으면 0을 예측합니다.

✔ 각 bounding box는 5개의 구성 요소(x,y,w,h + confidence)를 예측합니다. (x,y)는 grid cell안의 중심 좌표를 의미합니다. (w,h)m width, height은 전체 이미지에 비례한 값입니다.

✔ 각 grid cell은 $C$개의 conditional class probabilities, $pr(Class_i|Object)$를 예측합니다. 이는 물체가 존재한다고 했을 때, 특정 Class i일 조건부 확률값입니다. 한 가지 집고 넘어가야할 것을 YOLO는 box B의 개수와는 관련없이, grid cell의 확률 값을 예측합니다.

✔ YOLO는 PASCAL VOC로 평가했고, S=7, B=2. PASCAL VOC는 20개의 Class를 가지고 있기에, 7x7x(2*5+20)의 feature output이 도출됩니다.

Network Design

✔ 앞선 말과 동일하게 PASCAL VOC dataset으로 detection 평가를 진행합니다.

✔ 위의 DarkNet은 24개의 Conv layer 와 2개의 FC layer로 이루어져있습니다. GooLeNet의 inception 모듈과 다르게, 단순히 3x3 conv layer 이전에 1x1 reduction layer 사용했습니다.

Training

✔ ImageNet의 1000-class dataset으로 pretrain을 진행합니다. first 20 Conv layer을 사용해 pretrain을 진행합니다.

✔ Pretrain 모델을 기반으로 detection시 4개의 Conv layer와 2개의 Fc layer를 추가합니다. 위의 이미지에 추가된 레이어들을 확인 할 수 있습니다.

✔ Detection을 할 때 종종 미세한 시각 정보(?)가 필요하기에 image의 사이즈를 224x224 -> 448x448로 변경했습니다. 그리고 마지막 레이어는 class prob.와 bbox 좌표 둘 다 예측합니다.즉, output 사이즈가 7x7x30(2*5+20) 인것을 알 수 있습니다.

✔ 마지막 레이어에서는 linear activation을 사용했으며, 나머지 레이어에서는 leaky rectified linear activation을 사용했습니다.

Loss function

✔ YOLO는 regression에서 자주 사용되는 SSE를 사용합니다. 위의 Loss Fuction은 크게 3가지로 나눌 수 있습니다.

✔ 앞의 두 줄을 Localization loss 입니다.

• $\lambda_{coord}$: 대부분의 grid cell은 물체를 포함하지 않기에, confidence score가 0이 되어 물체를 포함하는 grdient를 압도하여, 모델이 불안정해질 수 있습니다. 그래서 $\lambda_{coord}$을 사용해 물체를 포함하는 cell에 가중치를 부합니다. ($\lambda_{coord}$ = 5)
• $S^2$: grid cell의 수($S$ =7)
• $B$: grid cell별 bounding box 수($B$=2)
• $1_{i,j}^{obj}$: i번째 grid cell의 j번째 bounding box가 객체를 예측하도록 할당 받았을 때 1, 아니면 0를 나타냅니다. grid cell에서 B개의 bounding box를 사용하지만, 그 중 높은 confidence score 값 하나를 사용합니다.
• $x_i,y_i,w_i,h_i$: ground-truth box의 x,y,w,h의 값이다.
• $x_i^{hat},y_i^{hat},w_i^{hat},h_i^{hat}$: 예측된 bounding box의 x,y의 좌표와 width, height 입니다.
  

✔ 3 ~ 4줄은 Confidence loss 입니다.

• $\lambda_{noobj}$: 객체를 포함하지 않는 grid cell의 가중치 입니다. ($\lambda_{noobj}$ =0.5)
• $1_{i,j}^{noobj}$: i번쨰 grid cell의 j번째 bounding box가 객체를 예측하도록 할당받지 않았을 때 1, 아니면 0 부여합니다.
• $C_i$: 객체가 포함되어 있을 경우 1, 그렇지 않을 경우 0
• $C_i^{hat}$: 예측한 bounding box의 confidence score
  

✔ 마지막 줄은 Classification loss 입니다.

• $p_i(c)$: 실제 class prob.
• $p_i^{hat}(c)$: 예측한 class prob.

Inference

✔ Predicting detection 사용해 test image 할 때 오직 하나의 네트워크 평가가 필요합니다.

✔ 본 논문은 PASCAL VOC로 test를 진행했으며, 이미지당 98개의 bonuding box와 class prob.를 예측합니다.

✔ 예측된 98개의 정보들을 사용해 NMS(Non-maximal suppression)을 사용해 중복되는 물체를 제거하고, 하나의 결과만을 얻습니다. NMS의 방법을 사용해 2-3% mAP가 증가했다고 합니다.

Limitations of YOLO

✔ YOLO는 각 grid cell은 오직 2개의 box만을 예측하고, 그 중 하나의 class를 예측합니다. 이러한 공간적 제약은 세 때나 그룹으로 된 물체를 예측하지 못합니다.

✔ 또한 small bounding box와 large bounding box에서 동일하게 에러를 취급합니다. small bounding box의 경우 약간의 움직임이 IoU의 많은 영향을 줄 수 있습니다. 위의 이유가 localiztions의 부정확함에 있어 가장 영향을 많이 주는 이유입니다.

---

Reference

• https://herbwood.tistory.com/13
• https://wikidocs.net/147360
• https://machinethink.net/blog/object-detection/
• https://www.youtube.com/watch?v=eTDcoeqj1_w