EfficientNet

📖 EfficientNet은 2019 CVPR에 발표된 MnasNet: Platform-Aware Neural Architecture Search for Mobile의 저자인 Mingxing Tan과 Quoc V. Le가 쓴 논문이며 Image Classification 타겟의 성능이 좋은 Model인 EfficientNet을 제안하였습니다.
이 모델은 Image Classification Task에 대해서 기존보다 훨씬 적은 파라미터 수로 더욱 좋은 성능을 내서 State-Of-The-Art(SOTA = 현재 최고 수준)를 달성한 모델입니다.
해당 모델에 대한 논문 리뷰를 바탕으로 정리를 해보겠습니다.

Notion

• 최첨단 정확성을 달성하면서도 이전 모델에 비해 규모가 작고 빠른 이미지 분류가 가능한 모델입니다.

• AutoML과 복합 스케일링(compound scaling)을 기반으로 개발되었습니다.

  • compound scaling이란, width scaling(conv filter 개수), depth scaling(layer 개수), resolution scaling(input image 해상도)을 혼합한 스케일링 기법을 말합니다.
  • 이전 연구에서는 depth, width, resolution 중 하나만 스케일링을 하는 것을 주로 다뤘으나, 더 나은 정확도와 효율성으로 ConvNet을 scale up하는 정형적인 방법을 고안한 결과, 실증적인 연구에서 depth, width, resolution 이 3가지의 균형을 잘 맞추는 것이 중요함을 보였기에 상수 비율로 3가지를 각각 scaling하면 된다는 것을 알아내었습니다.

Experiment

Compound Scaling

• 일반적으로 ConvNet의 정확도를 높일 때 잘 짜여진 모델 자체를 찾는 방법도 있지만, 기존 모델을 바탕으로 Complexity를 높이는 방법도 많이 사용합니다.

• 위 그림은 이미 존재하는 모델의 size를 키워주는 여러 방법들을 보여주고 있습니다.
  대표적으로 filter의 개수를(channel의 개수를) 늘리는 width scaling과 layer의 개수를 늘리는 depth scaling과 input image의 해상도를 높이는 resolution scaling이 자주 사용됩니다.
  (e)에서 보여주는 것이 복합 스케일링(compound scaling)에 해당합니다.
  ResNet이 depth scaling을 통해 모델의 크기를 조절하는 대표적인 모델이며(ex, ResNet-50, ResNet-101) MobileNet, ShuffleNet 등이 width scaling을 통해 모델의 크기를 조절하는 대표적인 모델입니다. (ex, MobileNet-224 1.0, MobileNet-224 0.5)
  하지만 기존 방식들에서는 위의 3가지 scaling을 동시에 고려하는 경우가 거의 없었습니다.

• 또한 3가지 scaling 기법 중에 어떤 기법을 사용할지에 대해서도 마땅한 가이드라인이 존재하지 않고, 실제로 무작정 키운다고 정확도가 계속 오르는 것도 아니라 일일이 실험을 해봐야하는 어려움도 존재하였습니다.
  본 논문에서는 실제로 3가지 scaling 기법에 대해 각 scaling 기법마다 나머지는 고정해두고 1개의 scaling factor만 키워가며 정확도의 변화를 측정하였습니다.

• 위 그림에서는 width 크기를 5배로 올렸을 때 성능 개선의 변화가 덜 하고, depth 크기를 8배 올렸을 때 이전보다 성능이 더 이상 올라가지 않으며, 그나마 resolution scaling이 키우면 키울수록 정확도가 잘 오르는 것을 확인할 수 있습니다.

• 비슷한 방식으로 이번엔 depth(d)와 resolution(r)을 고정해두고 width만 조절하며 정확도의 변화를 측정하는 실험을 수행하였습니다.

• 같은 FLOPS 임에도 불구하고 크게는 1.5% 까지 정확도가 차이가 날 수 있음을 시사하고 있습니다. 초록색 선(d = 2.0, r = 1.0)과 노란색 선(d = 1.0, r = 1.3)을 비교하면 depth를 키우는 것 보다는 resolution을 키우는 것이 정확도가 좋음을 알 수 있고, 빨간색 선(d = 2.0, r = 1.3)을 보면 1가지, 혹은 2가지 scaling factor만 키워주는 것 보다 3가지 scaling factor를 동시에 키워주는 것이 가장 성능이 좋음을 실험적으로 보여주고 있습니다.

• 위의 실험들을 통해 3가지 scaling factor를 동시에 고려하는 것이 좋다는 것을 간단하게 입증을 하였고, 이번에는 최적의 비율을 찾아서 실제 모델에 적용을 해서 다른 모델들과 성능을 비교하는 과정을 설명 드리겠습니다. (결과는 아래 참고)

• 우선 이 논문에서는 모델(F)를 고정하고 depth(d), width(w), resolution(r) 3가지를 조절하는 방법을 제안하고 있는데, 이 때 고정하는 모델(F)을 좋은 모델로 선정하는 것이 굉장히 중요합니다. 아무리 scaling factor를 조절해도, 초기 모델 자체의 성능이 낮다면 임계 성능도 낮기 때문입니다.
  이 논문에서는 MnasNet과 거의 동일한 search space 하에서 AutoML을 통해 모델을 탐색하였고, 이 과정을 통해 찾은 작은 모델을 EfficientNet-B0 이라 부르고 있습니다.

• 모델 구조는 MnasNet(모바일에 최적화된 네트워크를 찾아주는 모델)과 거의 유사하며 위의 표와 같은 구조로 구성이 되어있습니다. 이제 compound coefficient를 사용하여 network의 width, depth, resolution을 균등하게 조정하는 Compound Scaling을 적용하여 실험을 수행합니다.

• 위의 식에서 파이는 얼마나 많은 resource를 사용할지에 대해 사용자가 정할 coefficient이며 알파, 베타, 감마가 small grid search 방법으로 찾게될 변수들입니다.

• 우선 depth, width, resolution을 각각 알파, 베타, 감마로 나타내며 각각의 비율은 노란색으로 강조한 조건을 만족시켜야 합니다. 이 때 width와 resolution에 제곱이 들어간 이유는 depth는 2배 키워주면 FLOPS도 비례해서 2배 증가하지만, width와 resolution은 가로와 세로가 각각 곱해지기 때문에 제곱 배 증가합니다. 그래서 제곱을 곱해서 계산을 하고 있습니다.

• 그 뒤, 전체 모델의 사이즈는 알파, 베타, 감마에 똑같은 파이만큼 제곱하여 조절을 하게 됩니다. 결국 총 FLOPS는 (알파베타^2감마^2)^파이와 비례합니다. 알파베타^2감마^2를 2로 제한시켰으므로, 총 FLOPS는 대략 2^파이에 비례하여 증감합니다.

• 위에서 언급했듯이, EfficientNet의 알파, 베타, 감마 값은 간단한 grid search를 통해 구하는 방식을 제안하고 있으며, 처음 단계에서는 파이를 1로 고정한 뒤, 타겟 데이터셋에서 좋은 성능을 보이는 알파, 베타, 감마 값을 찾아냅니다. 본 논문에서는 알파 값은 1.2, 베타 값은 1.1, 감마 값은 1.15를 사용하였으며, 방금 구한 3개의 scaling factor는 고정한 뒤 파이를 키워주며 모델의 사이즈를 키워주고 있습니다.

Model comparison result

• B0~B7은 모델 사이즈를 의미합니다.
• 결과를 보시면 기존 ConvNet들에 비해 비슷한 정확도를 보이면서 동시에 parameter 수와 FLOPS 수를 굉장히 많이 절약할 수 있는 것을 알 수 있습니다.
• 또한, 기존에 ImageNet 데이터셋에서 가장 높은 정확도를 달성했던 GPipe보다 더 높은 정확도를 달성하는 것을 확인할 수 있습니다. 실험결과가 굉장히 좋은 것을 바로 알 수 있습니다.

• 마지막으로 모델이 이미지를 분류할 때 이미지의 어느 영역에 집중했는지 확인할 수 있는 Class Activation Map(CAM)을 도출한 결과, 3개의 scaling factor를 각각 고려할 때 보다 동시에 고려하였을 때 더 정교한 CAM을 얻을 수 있다라는 것을 알 수 있습니다.