선행논문: ResNet > MobileNet > SENet
논문링크

모델의 목적

EfficientNet은 Image Classification을 하기 위해 개발된 모델입니다.

Image Classification을 효과적으로 하기 위해선 정확도를 높여야 합니다. 정확도를 높이는 방법에는 모델을 새로 개발하거나 기존 모델을 바탕으로 conplexity 또는 크기를 조정하는 방법 등이 있습니다.

Abstract

논문의 핵심 내용:

1. 효율적인 모델 구축을 위해 depth, width, resoulution을 스케일링 하는 방법을 제안합니다.
2. MnasNet에서 사용하는 CNN아키텍처인

Model Scaling

기존 모델을 조정하여 정확도를 높이는 방법을 model scaling이라고 하는데, 주요 전략에는 세 가지가 있습니다.

1. 너비 확장(Width Scaling):
   모델의 너비를 확장한다는 것은 각 계층에 있는 뉴런의 수나 채널의 수를 증가시키는 것을 의미합니다. 예를 들어, CNN에서 합성곱 계층의 필터 수를 늘리는 것은 Width Scaling의 전략입니다. MobileNet, ShuffleNet등이 대표적이죠.

2. 깊이 확장(Depth Scaling):
   모델의 깊이를 확장한다는 것은 모델에 계층을 더 추가하는 것을 의미합니다. 예를 들어, ResNet에서는 깊이를 확장하여 ResNet-50, ResNet-101, ResNet-152등의 다양한 버전을 만들었습니다.

3. 해상도 확장(Resolution Scaling):
   입력 이미지의 해상도를 증가시켜 모델에 더 많은 정보를 제공합니다. 높은 해상도의 이미지는 더 많은 디테일을 포함하므로 모델이 더 복잡한 패턴을 학습할 수 있게 됩니다.

기존의 model scaling을 할 때에는 세 가지 전략을 동시에 쓰는 경우가 없었습니다.

EfficientNet은 위 세가지 확장 전략을 함께 사용하는 'Compound Scaling'전략을 도입했습니다. 즉, 너비, 깊이, 해상도를 동시에 조정하여 최적의 성능을 달성하는 방식으로 model scaling을 한 것이죠. 세 가지 scaling 기법은 선형적인 정확성의 증가를 보이지 않기 때문에 직접 일일이 실험을 통해 정확도를 측정해야 하는 어려움이 있습니다. 따라서 본 논문에서는 실제로 나머지 기법은 고정해두고 하나의 scaling factor만 조정해가며 정확도의 변화를 측정했다고 합니다.

Compound Scaling