Efficient Net

MBConv Block

Mobile Inverted Bottleneck Convolution (MBConv)

• Depthwise Separable Convolution : Depthwise Conv + Pointwise Conv
• Squeeze and Excitation : Feature를 압축했다가 증폭하는 과정을 통해 Feature의 중요도를 재조정 함

Depthwise Conv : Spartial 정보만 연산

• Channel별로 나누어서 Conv연산 수행
  -> 기존 Conv 연산보다 적은 수의 파라미터로 Feature를 추출할 수 있음

Pointwise Conv : Channel별 정보를 취합하여 연산

• 1x1 Conv 로 Channel들을 합침 -> 채널의 수를 조절하여 전체 파라미터 수가 적어질 수 있도록 함

Squeeze and Excitation

Squeeze

Global Average Pooling 등을 사용하여 1x1xC 크기로 압축하는 과정
-> 각 채널의 중요한 정보만 담고 있을 수 있도록 압축한 것

Excitation -> Recalibration

• 두 개의 FC Layer 를 더해주어 각 채널들의 중요도를 추출함
• 이를 기존 Feature Map에 곱해주게 되면, 채널의 중요도가 학습된 새로운 Feature Map을 얻을 수 있음
  

Baseline Model Scaling

Compound Scaling

• Individual Scaling : 깊이, 넓이, 해상도를 각각 독립적으로 Scaling
• Compound Scaling : 깊이, 넓이, 해상도를 동시에 Scaling

Compound Coefficient : Uniformly scales network width, depth, and resolution in a principled way

계산량은 깊이에 비례, 넓이와 해상도의 경우 그 제곱에 비례