🎈 본 리뷰는 EfficientDet 및 리뷰를 참고해 작성했습니다.

Keywords

🎈 EfficientNet
🎈 BiFPN network
🎈 Weighted Feature Fusion
🎈 Compound Scaling

Introduction

✔ 오늘은 EfficientDet에 대해 리뷰할 예정입니다. EfficientDet은 EfficientNet를 backbone으로 두고 사용하기 때문에, EfficientNet 논문 혹은 정리된 글을 먼저 읽으시길 추천드립니다.

✔ 최근 수년동안 다양한 좋은 정확도를 가진 detection 모델들이 나왔습니다. 하지만 SOTA dectection model들은 점점 더 expensive합니다. 이렇게 무거운 모델들은 자율 주행 및 실제 task에 적용하기 어렵습니다. 그렇기에 one-stage로 구성된 다양한 detection 아키텍처들이 보여지고 있습니다. 하지만 아키텍처들 또한 오직 specific 또는 small range of resource를 구성하는데만 집중하며, 실제 어떤 다양한 task들에 대해서는 생각하지 않습니다.

✔ 본 논문에서는 EfficientDet이 scalable detection architecture with both higher accuracy and better efficiency across a wide spectrum of resource constraints 한 모델이라고 소개합니다. EfficientDet은 one-stage detector paradigm으로 기반으로 구성되어 있습니다. 또한 본 논문은 두 가지 챌린지에 대해 집중하고 있습니다.

1. efficient multi-scale feature fusion
2. model scaling

✔ EfficientDet은 FPN기반으로 multi-scale feature fusion을 진행합니다. 이 과정에서 기존의 방법들과는 다른 BiFPN network을 소개합니다. BiFPN는 기존의 단순하게 연산된 feature fusion에서 각 이미지의 다른 해상도의 특징을 반영하지 못했기 때문에, 그 부분을 반영한 네트워크라고 합니다.

✔ 또한 Compound scaling 방법을 통해 backbone, feature network, box/class predictions network의 해상도/깊이/채널 수 scaling 한다고 합니다.

✔ 위의 그래프에서 확인할 수 있듯이, 이전의 방법들보다 효율적이면서 높은 정확도를 기록합니다.

✔ 결과적으로 EfficientDet = EfficientNet(backbone) + BiFPN + compound scaling 이라고 말할 수 있습니다.

BiFPN

✔ Multi-scale feature fusion은 FPN을 시작으로 계속해서 발전해왔습니다. 수식을 확인하면 $\vec{P}_{in}= (\vec{P}^{in}_{l1},\vec{P}^{in}_{l2} ..)$ 이며, $\vec{P}^{in}_{li}$은 feature level $l_i$를 표현합니다. 당연하게도 위의 논문에서는 어떤 함수 $f$를 사용해 효율적인 $\vec{P}_{out}= f(\vec{P}_{in})$ 제시합니다.

✔ 기존의 FPN의 경우에는 위의 수식에 의해서 정의됩니다. 앞서 말씀드린 것과 같이 위와같이 feature fusion은 단순히 resize를 통해 sum한 것이므로 이미지 해상도의 특징을 고려하지 않았습니다.

Cross-Scale Connections

✔ 기존의 FPN은 one-way 즉, 한 방향으로만 정보가 흐릅니다. 반면 PANet(b)의 경우 bottom-up path를 추가합니다. 또한 이후에는 NAS-FPN이라는 Auto-ML을 사용한 (c) 방법이 제시되었습니다. 이 중 동일한 조건에서 PANet이 가장 좋은 결과를 도출하였고, 이를 바탕으로 BiFPN을 제시합니다.

✔ 먼저 그림 (d)에서 확인할 수 있듯이 첫번째 노드와 마지막 노드를 제거한 것을 확인할 수 있습니다. 이유는 직관적으로 위의 노드들은 feature fusion이 일어나지 않기 때문입니다. 덕분에 모델이 간단해졌습니다.

✔ 추가적으로 원래 input을 output에 추가함으로써 추가적인 feature fuse가 일어납니다. 많은 cost가 들어가지 않는다고 합니다.

✔ 마지막으로 각 bidirectional path는 하나의 feature layer network로써 위의 그림과 같이 반복하는 것을 확인할 수 있습니다. 반복함으로써 더 좋은 high-level feature를 구할 수 있다고 합니다.

Weighted Feature Fusion

✔ 앞서 말씀듯이, 이전까지의 feature fushion은 각 해상도의 특징을 반영하지 못했습니다. BiFPN는 각각의 weight를 각각의 input에 추가합니다. 세 가지의 버전이 존재하며 그 중 가장 빠른 Fast normalized fusion를 사용한다고 합니다.

✔ 먼저 Unbound fusion은 bound가 없기 때문에 모델이 불안정할 수 있다고 합니다. 또한 위의 $w_i$는 scala, vector, tensor 모두 가능하다고 하지만 이 중 scala이 가장 적은 cost가 사용되어 사용한다고 합니다.

✔ Softmax를 활용해 사용했지만 위의 방법은 GPU를 느리게하는 요인이 된다고 합니다.

✔ 따라서 위의 Fast normalizaed fusion을 사용한다고 합니다. 이는 exp연산이 들어가지 않으며, Softmax 방법과 비슷하지만 30% 더 빠르다고 합니다. 또한 $w_i$는 0보다 크거나 작으며, 이는 이전에 ReLU 함수를 통과해 성립될 수 있습니다. $\epsilon$ = 0.0001이며 이는 작은 값의 연산을 방지하기 위한 값입니다.

✔ BiFPN에 대한 수식을 보여주고 있습니다. Level 6에 대한 수식이며 그래프 (d)와 비교한다면 쉽게 이해할 수 있습니다.

✔ 또한 효율을 높이기 위해, feature fusion에서 depthwise separable convolution와 batch normalization 그리고 activation을 각각의 conv 뒤에 추가했다고 합니다.

EfficientDet

✔ 이번 챕터에서는 network architecture와 new compound scaling에 대해 소개합니다. (new compound scaling란 detection task 맞춤 compound scaling 라고 생각하면 됩니다.)

EfficientNet

✔ 본 쳅터를 다루기에 앞서, EfficientNet에 대해 간단하게 설명해보도록 하겠습니다.

✔ EfficientNet에서 제안하는 Compound Scaling은 간단하게 resoultion /depth/width(channel) 모두 적당한 비율로 키우면 좋은 결과를 얻을 수 있다고 제안합니다.

✔ 각각의 값을 $\alpha \cdot \beta^2 \cdot \gamma^2$이 2에 가깝게 지정하고, $\phi$의 값을 조정한다고 합니다. 각각의 $\phi$ 조정함으로써 B0 ~ B7까지 실험했다고 합니다.

✔ 위와 같은 과정으로 진행한다고 합니다.

✔ 또한 EfficientNet-B0 baseline network는 위와 같이 구성되어있으며
MBConv을 사용합니다.

✔ MBConv은 MobileNet에서 제시된 방법이며, Depthwise Conv와 Squeeze & excitation(SE)를 사용한 네트워크 입니다.

EfficientDet Architecture

✔ EfficientDet은 one-stage detector이며, backbone으로는 ImageNet으로 pretrained된 EfficientNet을 사용했습니다.

✔ BiFPN은 {$P_3$, $P_4$, $P_5$, $P_6$, $P_7$ } feature network를 반복해서 사용했다고 합니다. 이후 class and box network를 학습합니다.

✔ 전체적인 network 과정은 위의 사진으로 쉽게 확인할 수 있습니다.

Compound Scaling

✔ 본 EfficientDet에서 중요한 챌린지 중 하나는 어떻게 scail up 할것이냐 입니다. 기존의 EfficientNet의 보다 더 많은 scaling dimensions을 해야하기 때문에 새로운 Compound Scaling을 제시합니다. 간단한 복합 계수 $\phi$를 사용해 backbone, BiFPN, class/box network 및 해상도의 모든 치수를 공동으로 스케일업하는 new Compound Scaling을 제안합니다.

🎈 Backbone network

✔ Backbone에서는 EfficientNet의 방법을 그래도 사용한다고 합니다. 단, width/depth에 대해서만 같은 계수를 적용합니다.

🎈 BiFPN network

✔ BiFPN의 $D_{bifpn}$(#layers) 점차적으로 증가시키며, 작은 정수이어야 합니다. $W_{bifpn}$(#channels)는 기하 급수적으로 증가하며 이는 EfficientNet 과 비슷합니다. 그리고 grid search를 사용해 width의 최적의 계수는 1.35를 찾았다고 합니다.

🎈 Box/class prediction network

✔ BiFPN과 거의 비슷하며 Depth의 경우에만 위의 식을 적용한다고 합니다.

🎈 Input image resolution

✔ 이미지 해상도는 기존의 Backbone network 방법과 조금 다르게 진행됩니다. BiFPN에서 fusion feature(level 3-7) 되기 때문에 무조건 $2^7 = 128$으로 나눠줘야 합니다.

Experiments

EfficientDet for Object Detection

✔ 이번 쳅터에선느 detection task에 대한 실험결과를 소개해 드리도록 하겠습니다.

✔ 기본적으로 D0 ~ D7까지는 위의 표를 확인하시면 되겠습니다.

✔ 각각의 D0 ~ D7까지 비슷한 모델들과 비교하는 것을 볼 수 있습니다. 대부분의 결과에서 EfficientDet이 좋은 정확도와 효율성 및 연산속도 등등 보여주고 있습니다.

✔ EfficientDet의 inference를 다른 모델들과 비교하는 그래프입니다. 그래프에서 볼 수 있듯이 기존의 다른 모델보다 더욱 정확하고 높은 효율성을 보여줍니다.

🎈 오늘은 EfficientDet을 리뷰해봤습니다. 본 논문에서 제시한 방법들은 매우 좋은 성능과 효율성을 보여줬습니다.

---

Reference

• https://arxiv.org/abs/1905.11946
• https://www.youtube.com/watch?v=Vhz0quyvR7I
• https://lynnshin.tistory.com/53
• https://lynnshin.tistory.com/13