🎈 본 리뷰는 YOLOv3 및 리뷰를 참고해 작성했습니다.

Key Words

🎈 Multilabel Classification(do not use softmax)
🎈 Darknet-53(skip connections and upsampling)
🎈 More bounding boxes

Introduction

✔ "nothing like super interesting, just a bunch of small changes that make it better". 즉 기존의 YOLO에서 많은 변화가 아닌 약간의 향상이 있었습니다.

✔ 본 논문에서는 YOLOv3에 대해 아래와 같이 소개합니다.

1. We’ll tell you what the deal is with YOLOv3.
2. Tell you about some things we tried that didn’t work.
3. We’ll contemplate what this all means.

The Deal

✔ YOLOv3는 새로운 네트워크와 다른 좋은 아이디어를 적용했습니다.

Bounding Box Prediction

✔ YOLO9000(v2)의 그대로 bounding box prediction을 사용했습니다.

✔ YOLOv3는 4개의 좌표($t_x$, $t_y$, $t_w$, $t_h$,)를 예측합니다. (역시나 YOLO9000이랑 동일합니다.) 또한 sum of squared error loss를 사용했습니다.

✔ 각각의 로지스틱을 사용한 bounding box에 대한 objectness score을 계산합니다. 또한 GT랑 가장 오버랩이 많이 되는 bounding box의 confidence는 1이 되어야합니다.

✔ YOLOv3는 각각의 GT 개체에 대해 하나의 bounding box만 할당받습니다.

Class Prediction

✔ YOLOv3는 기존의 YOLO와는 다르게 multilabel classification을 사용합니다. softmax를 사용하지 않고, 각각 독립적으로 logisitic한 classifier를 사용한다고 합니다. 또한 학습 중에는 binary cross-entropy loss를 class prediction에 사용합니다.

✔ Softmax를 사용하지 않는 이유로는, 만약 계층적 데이터 셋을 사용한다면, 중복의 답을 예측해야할 필요가 있기 때문에 사용하지 않는 다고 합니다.

Predictions Across Scales

✔ YOLOv3는 3가지의 다른 scale boxes를 사용합니다. 구체적으로 3가지 scale에 대해서 3가지의 anchor box를 사용하게 됩니다.(총 9개의 Anchor box)

✔ 각각의 Anchor boxes는 YOLO9000와 마찬가지로 k-means clustering을 사용합니다. COCO 데이터 셋에서 (10 x 13), (16 x 30), (33 x 23), (30 x 61), (62 x 45), (59 x 119), (116 x 90), (156 x 198), (373 x 326) 9개의 anchor box를 사용하며, 각각의 scale에 대해 3개의 anchor box를 사용합니다. 결과적으로 COCO 데이터 셋에서 N x N x [3 * (4 + 1 + 80]를 예측하며, 4은 bbox의 offsets, 1은 objectness prediction 그리고 80 class predictions을 의미합니다.

✔ YOLOv3는 이전 버전에 비해서 100배 이상의 bounding boxes 수를 가지고 있습니다.

📌 YOLOv1 98 boxes(7x7 grid cells, 2boxes per cell @448x448)
📌 YOLOv2 845 boxes(13x13 grid cells, 5 anchor boxes)
📌 YOLOv3 10,647 boxes(@416x416)

Feature Extractor

✔ YOLOv3는 기존의 Darknet-19와는 다르 새로운 네트워크인 Darknet-53을 사용합니다. Residual이라는 Shortcut connections을 사용하며, 이전의 버전보다는 네트워크가 커졌음을 알 수 있습니다. 또한 ResNet-101 or ResNet-152보다도 효율적입니다.

✔ 위의 표는 ImageNet의 결과입니다. 표에서 볼 수 있듯이 ResNet-152와 매우 비슷하며, 주목해야할 것은 BFLOP/s(초당 연산량)이 압도적으로 높은 성능을 보여주고 있습니다. 하지만 Darknet-19보다 낮은 FPS를 보여주고 있습니다. 이는 네트워크가 커지면서 일어나는 현상이라고 생각됩니다. 즉, GPU를 더욱 효율적으로 사용한다는 것을 알 수 있습니다.

YOLOv3 Architecture

✔ YOLOv3는 multi-scale 방법을 사용하고 있으며, 이는 FPN과 비슷하다고 볼 수 있습니다. 총 3개의 scale을 output으로 가지며, FPN과 비슷하게 upsampling과 concatnation을 사용해 3개의 output을 가집니다. (32배, 16배, 8배)

Training

✔ Full images을 사용해 train했으며, no hard negative mining 등 다른 방법은 사용하지 않았습니다. YOLOv3는 multi-scale training, lots of data augmentation, batch normlaization 등을 사용했습니다.

How We Do

✔ 결과적으로 YOLOv3는 $AP_{50}$에서는 RetinaNet과 비슷한 것을 볼 수 있지만, 나머지 지표에서는 상대적으로 낮은 성능을 보여줍니다. 하지만 이전의 detector보다는 좋은 성능을 보여주고 있고, 특히 YOLOv2 $AP_{s}$에서 상대적으로 좋은 성능을 보여주고 있습니다.

✔ COCO에서 사용하는 평가지표는 IoU를 0.5 ~ 0.95까지 0.5씩 threshold를 높여가며 $AP$를 구하고, 각각의 mAP를 구하고 또 다시 전체의 mAP를 구한 결과 값이라고 합니다.(저자는 COCO의 평가지표에 대해 불만이 있다고 합니다.) PASCAL voc에서 사용한 $AP_{50}$(IoU=0.5)에서는 좋은 성능을 보여줍니다.

Things We Tried That Didn't Work

Anchor box $x,y$ offset predictions

✔ 다른 linear activation 사용한 예측 방법을 사용해봤지만, 오히려 모델의 안정성을 낮췄습니다.

Linear $x,y$ predictions insteand of logistic

✔ logisitic activation이 아닌 linear activation으로 직접적으로 $x,y$ offset을 예측할려고 했지만, 좋은 성능이 보이지 못했다.

Focal Loss

✔ YOLOv3는 이미 obj prediction과 conditional class predictions을 통해 Focal loss의 문제에 대해 robust하다.

Dual IOU thresholds and truth assignment

✔ 기존의 Fast R-CNN은 .7보다 높으면 positive, .3 ~ .7 이면 무시하고, .3이하이면 negative로 판단했다. 비슷한 전략을 사용해 봤지만 좋지 않는 결과가 도출됬다.

What This All Means

✔ YOLOv3는 빠르고 정확한 detecor이다. 하지만 COCO 데이터 평가지표(.5 ~ .95 IoU)에서는 좋은 결과가 나오지 않았다. 반대로 old detection metric(.5 IOU)에서는 좋은 결과를 보여준다.

✔ 사람들은 IOU의 0.3과 0.5인 개체들을 구분하는데 어려움을 겪는다. 결국, .5 ~ .95 IoU와 같이 빡빡하게 평가하는 것이 의미가 있나? 라는 의문을 제기합니다.

Rebuttal

👨‍🏫 본 논문의 저자는 Rebuttal이라는 추가적인 글로 통해 의견에 대한 반박을 추가적으로 진행합니다.

✔ 먼저 기존 논문의 그래프의 기준이 0이 아니다 라는 의견에 위와 같은 그래프로 YOLOv3는 정확하며 속도 또한 빠르다 라는 것을 보여주고 있습니다.

✔ 또한 COCO 평가지표를 비판하는 것에 대한 근거가 부족하다는 의견에 위와 같은 자료와 함께 답변합니다.

✔ COCO 평가지표에 대해 classification보다 bbox에 더 중요도를 두고 있는 지표라고 이야기하며, 위의 그림이 과장되어 있긴 하지만 mAP를 계산하면 모두 다 좋은 결과가 나온다고 이야기합니다. 또한 현재 평가지표가 실제와의 차이가 있다고 이야기하며, 새로운 평가지표가 필요하다고 이야기합니다.

---

Reference

• https://www.youtube.com/watch?v=HMgcvgRrDcA
• https://blog.paperspace.com/how-to-implement-a-yolo-object-detector-in-pytorch/
• https://towardsdatascience.com/yolo-v3-object-detection-53fb7d3bfe6b