

Width Wcaling으로는 WRN(Wide Residual Network) 등이 있음
주로 작은 모델에서 사용되며, 미세한 특징을 잘 잡아내면서 학습도 쉬움
but, 너무 얕은 모델의 경우 high-level 특징 포착이 어려움

Depth Scaling으로는 ResNet 등이 있음
많은 ConvNet에서 쓰이며 복잡한 특징들을 잘 잡아내고 일반화 성능이 우수
but, gradient vanishing 문제 발생해 학습이 어려움

모델들의 파라미터 수가 점점 많아짐에 따라 정확도는 올라가지만 연산 속도는 느려지는 상황
model scaling으로 모델의 정확도와 효율성을 모두 달성하려 함
실험 결과, 네트워크의 폭/깊이/해상도를 키우면 정확도가 향상되지만, 그 정도는 점차 감소함
또한, 더 나은 정확도와 효율성을 위해 세 가지 scale 요소의 균형을 잘 맞춰줘야 함

Object Detection task는 자율주행차량이나 실시간 위험 감지 등에 쓰이기 때문에 특히나 속도가 중요함
1 stage model이나 anchor free model의 경우 속도는 빠르지만 정확도가 낮다는 문제가 있음
multi-scale feature fusion을 위해 기존의 Neck과 달리 단순합이 아니라 학습가능한 웨이트를 두는 Weighted Feature Fusion을 사용하는 BiFPN(bi-directional feature pyramid network) 제안
하나의 간선을 가진 노드는 제거하고, output 노드에 input 노드 간선을 추가함
하나의 block을 feature layer로 취급하여 반복적으로 사용
EfficientNet과 같은 compound scaling 방식을 제안
EfficientNet B0 ~ B6을 backbone으로 사용