투빅스 15기 오주영

Abstract

• 모델 확장을 체계적으로 연구
• Depth, Width, Resolution의 scaling 에 다른 성능 관찰
• Compound coefficient 를 사용하여 depth, width, resolution을 함께 scaling하는 효과적인 scaling method 제안

Introduction

• CNN 은 더 나은 정확도를 달성하기 위해 scaling up 을 널리 사용

  • 2016년 발표된 ResNet은 더 많은 layer를 사용하여 scaling up (ResNet-18 -> ResNet-200)
  • 2018년 발표된 Gpipe는 baseline model을 4배로 확장시켜 ImageNet top-1 accuracy 84.3% 달성

• 하지만 CNN을 확장하는 프로세스는 아직 제대로 연구되지 않았음

• 일반적으로 depth, width, resolution 세가지 중 하나만 확장

• 임의로 2~3가지를 동시에 확장할 수 있지만 빡센 tuning과정이 필요하고 더불어 그것이 optimal한 solution이 아닐 수도 있음

• Accuracy와 efficiency 를 높이기 위해서 CNN을 scaling up하는 원칙적인 방법이 있을까???

• 본 연구는 Depth, width, resolution 세가지의 균형을 맞추는 것이 매우 중요하다는 것을 보여줌.

• 임의로 depth, width, resolution 을 scaling 하는 일반적인 관행과 달리 고정된 scaling coefficient 를 사용하여 효과적으로 scaling 가능.

  • 예를 들어 2^N배 더 많은 computational resource를 사용하고자 한다면, depth는 $α^N$, width는 $β ^N$, 이미지의 size는 $γ ^N$ 만큼 키움으로써 간단히 증가시킬 수 있음 (𝛼,𝛽,𝛾는 baseline model의 grid search를 통해 찾은 상수)

Related Work

ConvNet Accuracy

• ImageNet 대회에서 AlexNet 이후 CNN은 점점 더 많은 매개변수를 가진 모델을 사용하여 점점 더 정확해졌다.
  • 2014년 GoogLeNet(6.84M parameters), 74.8%
  • 2017년 SENet(145M), 82.7%
  • 2018년 Gpipe(557M), 84.3%

• 높은 정확도가 많은 application에서 중요하지만 이미 메모리 부분에서 한계에 도달했기 때문에 더 높은 정확도를 얻으려면 더 나은 효율성이 필요

ConvNet Efficiency

• Model compression은 model size를 줄이며 accuracy와 efficiency를 바꾸는 대표적인 방법이다.

• 휴대전화가 보편화되면서 SqueezeNet, MobileNet, ShuffleNet 같은 효율적인 모델을 수작업으로 만드는 게 일반적이다.

• 최근 NAS(Nearal Architecture Search)는 Mobile크기의 효율적인 CNN 설계에 점점 더 인기를 얻고 있으며, depth, width, resolution 등을 광범위하게 조정하며 수작업보다 더 뛰어난 효율성을 달성한다.

• 하지만, 튜닝 비용이 비싼 대형 모델에 이러한 기술을 적용하는 방법은 불분명하다.

• 본 연구는 대형 CNN 모델의 효율성을 연구하는 것을 목표로 한다.

Model Scaling

• 다양한 resource의 제약에 CNN을 확장할 수 있는 방법은 layer, channel, resolution 조정 등이 있다.

• 모델의 확장은 더 나은 accuracy를 얻을 수 있지만 더 많은 FLOPS가 필요하다.

• 본 연구는 네트워크의 depth, width, resolution 3차원 모두에 대해 체계적이고 경험적으로 CNN scaling을 연구한다.

Compound Model Scaling

Problem Formulation

• 대부분의 CNN 설계는 $F_i$를 찾는 데 중점을 두지만, model scaling은 정의된 $F_i$를 변경하지 않고 네트워크의 길이 $L_i$, 너비 $C_i$, 해상도 ($H_i$, $W_i$) 를 확장하려고 한다.

• F_i를 고정함으로써 model scaling은 design problem을 단순화하지만, 각 layer마다 각각 다른 $L_i, C_i, H_i, W_i$ 에 대해 large design space를 탐색해야 한다.

• Design space를 더 줄이기 위해서 모든 layer에서 constant ratio로 균등하게 scaling하는 제약을 건다.

• 목표는 주어진 resource 제약에서 accuracy를 최대화하는 것이고 최적화문제로 formulate 한다.

Scaling Dimensions - Depth

• 직관적으로 더 deep한 CNN이 보다 풍부하고 복잡한 feature를 추출할 수 있고 새로운 작업에 대해 일반화 할 수 있다.

• 그러나, 더 깊은 네트워크 또한 vanishing gradient 문제로 학습이 어렵다.

• Skip connection과 batch normalization와 같은 테크닉이 훈련 문제를 완화시키지만 깊은 네트워크일수록 네트워크의 accuracy 측면 이득은 감소한다.

  • ResNet-1000은 ResNet-101과 정확도 측면에서 큰 차이가 없음

Scaling Dimensions - Width

• 네트워크의 width(channel)는 넓을수록 더 세밀한 특징을 포착할 수 있는 경향이 있으며 훈련하기가 더 쉽다.

• 그러나 width가 매우 크지만 shallow한 네트워크는 상위 레벨 feature를 추출하는 데 어려움을 겪는다.

Scaling Dimensions - Resolution

• 고해상도 이미지를 사용하여 CNN은 더 세밀한 패턴을 추출할 수 있다.

• 초기 CNN 224x224부터 시작하여 현대의 CNN은 accuracy 를 높이기 위해 299x299 또는 331x331, 480x480의 고해상도 이미지를 사용한다.

Observation 1

• 네트워크 width, depth, resolution 각각을 확장하면 모두 정확도가 향상하긴 하지만 사이즈가 큰 모델의 경우 accuracy측면의 이득이 줄어든다.

Compound Scaling

• 우리는 경험적으로 width, depth, resolution 의 scaling 이 독립적이지 않음을 알 수 있음

• Resolution 이 큰 이미지의 경우, 더 큰 receptive field를 취할 수 있도록 네트워크의 depth를 늘려야함.

• 또한 고해상도 영상의 더 많은 픽셀이 있는 더 fine-grained 한 패턴을 추출하기 위해서 네트워크의 width또한 늘려야함

• 이러한 직관은 우리가 기존의 단일 차원 scaling 보다는 서로 다른 scaling 차수를 조정하고 균형을 맞출 필요가 있음을 암시

Observation2

• 더 나은 accuracy 와 efficiency 를 추구하기 위해서는 CNN확장 중에 네트워크의 width, depth, resolution 모든 차원의 균형을 유지하는 것이 중요하다.

Compound Scaling

• Convolution의 FLOPS는 $d, w^2, r^2$에 비례

  • d를 2배로 증가시키면 FLOPS는 2배로 증가
  • w, r 을 2배로 증가시키면 FLOPS는 4배로 증가

• CNN에서 convolution 연산이 computational cost를 지배하므로 FLOOPS는 $(α ∗ β^2 ∗ γ^2) ^φ$배 증가

• 본 연구에서는 $α ∗ β^2 ∗ γ^2 ≈ 2$라는 제약식이 있기 때문에 새로운 φ에 대해 네트워크의 FLOPS는 $2^φ$배 증가

EfficientNet Architecture

EfficientNet - B0

• MnasNet에서 영감을 받아 accuracy와 FLOPS를 모두 최적화하는 multi-objective NAS를 통해 baseline network를 개발

  

• target FLOPS 400M로 설정하여 얻은 모델 : EfficientNet-B0

• Main building block : mobile inverted bottleneck MBConv

EfficientNet

• EfficientNet-B0 를 baseline model로 하여 compound scaling metho를 적용하여 scaling up

• STEP 1 : φ=1로 고정하여 두배의 resource를 사용할 수 있다고 가정하고 $α ∗ β^2 ∗ γ^2 ≈2$ 라는 제약과 grid search를 통해 α, β, γ를 탐색 -> EfficientNetB0 기준 α = 1.2, β = 1.1, γ = 1.15에서 최상의 결과를 얻음

• STEP 2 : α, β, γ 를 상수로 고정한 후 3번 식을 통해 EfficientNet-B1 ~ B7까지 얻을 수 있음

Experiments

Scaling Up MobileNets and ResNets

ImageNet Results for EfficientNet

Inference Latency Comparison

Transfer Learning Results

Discussion

• Compound scaling의 기여를 분리하기 위해 depth, width, resolution 한 가지만 scaling up한 뒤 ImageNet 성능을 비교

Reference

• https://hoya012.github.io/blog/EfficientNet-review/
• https://ai.googleblog.com/2019/05/efficientnet-improving-accuracy-and.html
• https://hongl.tistory.com/31
• https://hongl.tistory.com/52
• https://arxiv.org/abs/1905.11946
• https://pigranya1218.tistory.com/entry/%EB%85%BC%EB%AC%B8-%EB%A6%AC%EB%B7%B0-Neural-Architecture-Search-with-Reinforcement-Learning
• https://arxiv.org/abs/1611.01578