🎈 본 리뷰는 YOLOv4 및 리뷰를 참고해 작성했습니다.

Keywords

🎈 Bag of freevies and Bad of specials
🎈 CSPDarknet53 + SPP + PAN + YOLOv3
🎈 Optimize for Single GPU

🎈 YOLOv4 리뷰에 앞서 YOLO v4가 어떻게 구성되어있는지 먼저 말씀드리겠습니다. YOLO v4의 경우에는 새로운 방법론을 제시하는 것이 아닌, 기존에 있던 방법론을 사용해 Single GPU 환경에서 최적화를 시킨 네트워크라고 말할 수 있습니다.

🎈 YOLOv4 논문에는 너무나도 많은 방법론들이 나오기 때문에 전부를 다 이해하는 것은 불가능합니다(각각의 방법들이 전부 논문 한 편이기에...) 결론적으로 위에서 언급된 방법이 사용됬다는 것이기에 제시된 방법론과 추가적으로 사용된 BoF, BoS 만 알면 된다고 생각합니다.

Introduction

🎈 본 논문의 Introduction에서는 최근 소개되는 정확한 네트워크들은 real-time으로 사용되기 어렵거나, 많고 좋은 GPU가 필요로 하다는 것은 이야기 하면서 YOLO v4를 소개합니다.

🎈 YOLO v4는 위의 그래프에서 확인할 수 있듯이, 기존의 YOLO v3보다 두 배 이상 빠르며, 정확도도 훨씬 높은 것을 확인할 수 있습니다. 또한 기존의 네트워크 보다 빠른 속도를 보여주고 있습니다.

🎈 위의 지문이 YOLOv4의 Contribution에 대해 이야기하고 있습니다. 이미 언급했듯이 새로운 방법론이 아닌 기존의 방법들을 최적화 하는 것을 알 수 있습니다.

Related work

🎈 위 사진에서 Object detector에 사용되는 다양한 방법론들을 보여주고 있습니다.

Object detection models

🎈 Object detection 일반적인 구조를 Backbones, Neck, Heads로 구분해 제시합니다. 지금까지 제시된 다양한 방법론들을 깔끔하게 정리해줬다고 생각합니다. Object detection 논문들을 R-CNN부터 읽으셨다면, 전부는 아니여도 어떤 방법론인지 어느정도 알 수 있다고 생각합니다. (저 같은 경우에는 절반정도 읽어본것 같습니다)

Bag of Freebies

🎈 BoF(Bag of Freebies)는 "오직 training의 전략만을 바꾸고, training의 cost만 증가시켜 성능 향상을 이뤄내는 방법론" 라고 이야기 할 수 있다고 생각합니다.

👨‍🏫 BoF(Bag of Freebies)

✅ Data Augmentation
	- Random erase
    - CutOut
    - MixUp
    - CutMix 📌
    - Style transfer GAN
    - (new) Mosaic data augmentation 📌
    - (new) Self-Adversarial Training 📌
    
✅ Regularization
 	- Dropout
    - DropPath
    - Spatial Dropout
    - DropBlcok 📌
    
✅ Loss Function
	- MSE
    - IoU
    - GIoU
    - CIoU 📌
    - DIoU 
    
+ Class label smoothing 📌
+ Cosine annealing scheduler 📌

🎈 위의 같이 다양한 BoF들을 ablation study를 진행해 가장 좋은 성능을 보여주는 BoF를 사용합니다. 사실 처음보는 방법론이 많고, 모든 내용을 전부 알 수 없기에, YOLO v4에 적용되는 방법론들만 공부해도 괜찮을 것 같습니다.

Bag of Specials

🎈 BoS(Bad of Specials)은 "약간의 inference cost의 증가로 detection의 성능을 향상 시킬 수 있는 post-processing과 plugin modules을 의미합니다.

👨‍🏫 BoS(Bad of Specials)

✅ EnHancement of receptive field
	- SPP 📌
    - ASPP
    - Receptive Field Block(RFB)
    
✅ Feature Integration
 	- Skip-connection 📌
    - FPN
    - SFAM
    - ASFF
    - PAN 📌
    - BiFPN
    
✅ Activation Function
	- ReLU, Leaky ReLU, Parametric ReLU
    - ReLU6
    - Swish
    - Mish 📌
 
✅ Attention Module
	- Squeeze-and-Excitation(SE)
    - Spatial Attention Module(SAM)
    
✅ Normalization
	- Batch Norm(BN)
    - Cross-GPU Batch Norm(CGBN or SyncBN)
    - Filter Response Normalization(FRN)
    - Cross-Iteration Batch Norm(CBN)
    - (new) Cross mini-Batch Normarlization(CmBN) 📌
    
✅ Post Processing
	- NMS
    - Soft NMS
    - DIoU NMS 📌
    
+ Cross-stage partial connection(CSP) 📌
+ SAM 📌

🎈 위 역시 가장 좋은 결과를 보여주는 방법론들만 사용합니다.

Methodology

🎈 먼저 CSPDarknet53을 backbone 네트워크를 사용하는 근거를 위의 표에서 확인할 수 있습니다. CSPDarknet53에서 가장 높은 FPS를 보여줍니다. 참고로 Classification에서는 CSPDarknet53이 가장 좋은 결과를 보여주지 않는다고 합니다.

🎈 좋은 detector의 3가지 조건을 확인할 수 있습니다. 작은 물체를 인식하기 위해 "Higher input network size", 넓은 receptive field를 위해 "More layers", 다른 사이즈를 가진 다양한 개체를 인식하기 위해 "More parameters" 들이 필요하다는 것을 알 수 있습니다.

🎈 하지만 무조건 좋다는 것은 아니라고 생각되는 것은, 위의 그래프에서도 확인할 수 있듯이 "More layers", "More parameters" 하다고 좋은 결과를 보여주지 않습니다. 항상 최적의 조건을 찾아야 되는 것 같습니다.

🎈 또한 위의 실험결과로 각각의 사이즈의 receptive field 영향은 다음과 같이 요약할 수 있습니다.

Additional improvements

🎈 YOLOv4에서는 single GPU에 최적화 하기위해 몇 가지 새로운 방법론 들을 제시합니다.

👨‍🏫 Mosaic data augmentation

• 기존의 CutMix에서는 2가지의 input image를 mix했지만, Mosaic의 경우 4가지의 이미지를 mix한다고 합니다. BN 연산에서는 각 레이어에서 4개의 다른 이미지의 연산이 수행됩니다. 또한 4개의 이미지를 mix하면서 그 만큼의 mini-batch 효과를 나타낸다고 합니다.

👨‍🏫 Self-Adversarial Training(SAT)

• Self-Adversarial Training(SAT)은 1st stage에서 weights 바꾸지 않는 대신 원본 이미지를 바꾼다고 합니다. 이를 self- adversarial attack이라고 표현합니다. 2nd stage에서 수정된 이미지를 기반으로 학습합니다. (이게 설명의 전부여서... 정확하게 어떻게 학습에 영향을 주는 지는 잘 모르겠습니다.)

👨‍🏫 Modify SAM and Modify PAN

🎈 기존의 CBAM에서 제시된 SAM 방법론과 PANet에서 제시된 PAN 방법을 수정해 사용합니다.

✅ Spatial attention module(SAM)

• Spatial attention module은 어디에 중요한 정보가 있는지 집중하도록 도와줍니다. 각각 Maxpooling과 Avgpool을 적용한 레이어를 concat한 후 7x7 conv 연산을 적용해 spatial attention map을 생성한다고 합니다. SAM 참고자료

• Modify SAM은 위의 그림과 같이 Pooling이 아닌 Conv 연산을 통해 spatial attention map을 생성하는 것 같습니다. 논문에서는 spatila-wise attention to point-wise attention이라고 표현합니다.

✅ PAN

• PANet은 기존의 FPN의 top-down pathway에서 bottom-up pathway 추가된 neck 구조입니다.

• Modify PAN은 shorct connection 부분에서 concatenation 연산으로 수정했다고 합니다.

🎈 이 외에도 CmBN(Cross mini-batch normalization), genetic algorithms을 사용한 optimal hyper-parameters 찾기를 적용했다고 합니다.

YOLO v4

🎈 결론적으로 YOLov4는 위의 다양한 방법들로 구성되어 있습니다.

🎈 논문에는 전체적인 아키텍처를 보여주는 사진이 없어 다른 곳에서 찾아왔습니다. 또한 결과적으로 YOLOv4 = CSPDarknet53 + SPP + PAN + YOLOv3 라고 생각할 수 있습니다. YOLOv4에서 사용된 다양한 방법론들에 대해 간단히 설명하겠습니다.(논문을 읽으면서 찾아봤기에 자세한 내용은 직접 찾아보시는 것을 추천드립니다.)

✅ CSP(Cross Stage Partial)

• CSP 방법론은 base layer의 feature map을 두 파트로 분리해 하나의 파트만 학습시키는 방법론 입니다. 이미지를 추론하는 과정 중 backbone에서 duplicate gradient information이 발생한다고 합니다. duplicate이 발생하는 이유는 skip connection 때문이라고 하며, 파트 분리를 통해 이를 해결할 수 있다고합니다. 이는 기존 모델의 연산량을 줄이고 정확도를 상승시킨다고합니다.

✅ SPP(Spatial Pyramid Pooling)

• SPP(Spatial Pyramid Pooling)은 이전의 CNN 구조가 고정된 입력 이미지 크기를 취하는 것(R-CNN)을 해결하기 위한 방법론 중 하나입니다. CNN을 통해 추출된 feature map을 지정된 크기(4x4, 2x2, 1x1)로 Pooling하는 방법입니다. 이를 통해 고정된 크기의 벡터를 생성한다고 합니다.

✅ Mish

• Mish는 ReLU의 단점을 보안한 activation function이며, AutoML로 만든 Swish에 사람이 추가적으로 관여한 activation function이라고 합니다.

• 아래와 같은 특징이 있습니다.

  	- Mish의 출력값 범위 [-0.31, 무한] 이라고합니다.
  	- ReLU의 경우 음의 값을 0으로 만들기에, 정보 손실이 발생하는데, Mish는 작은 음의 값을 허용해 이를 보완한다고 합니다.
   	- Mish는 연속적이기 때문에 특이점을 방지합니다.
      - Loss 값이 smoothing 되는 효과가 있습니다.

🎈 이 외에도 DropBlock, DIoU, CIoU 등등 많은 방법들을 사용했는데 궁금하시면 찾아보시는 걸 추천드립니다.

Experimental

Influence of different features on Classifier training

🎈 backbone 네트워크에 사용되는 BoF ablation study 실험결과입니다. CSPDarknet-53을 사용한다고 했을 때 "CutMix", "Mosaic", "Label Smoothing", "Mish"를 사용할때 가장 좋은 결과를 보여줍니다.

Influence of different feature on Detector training

🎈 Detector에서는 위와 같은 BoF들을 사용해 ablaction study를 진행했습니다. 결과적으로 Eliminate grid sensitivity, Mosaic, IoU threshold, Genetic algorithms, Optimized Anchor를 사용했을때 가장 좋은 결과를 보여줍니다.

👨‍🏫 YOLO v4는 새로운 방법론이 아닌 지금까지 나온 다양한 방법론들을 one-stage 방법으로 single GPU에서 사용할 수 있게 최적화된 네트워크라고 생각됩니다.

---

Reference

• https://www.youtube.com/watch?v=CXRlpsFpVUE&ab_channel=hoya012
• https://deep-learning-study.tistory.com/666
• https://www.researchgate.net/figure/Overall-structure-of-YOLOv4-including-CSPDarknet-backbone-SPPnet-PANet-and-3-YOLO_fig2_344919620
• https://deep-learning-study.tistory.com/632
• https://deep-learning-study.tistory.com/445
• https://deep-learning-study.tistory.com/636