GoogLeNet

GoogLeNet (2014) google
https://arxiv.org/abs/1409.4842

깊은 CNN 모델 구조를 통해 높은 성능을 얻고자 했으며, receptive filed에서 다양한 feature를 뽑아내고 학습 파라미터를 최적화하기 위해서 inception module을 제안하였다.

기존의 CNN 연산은 nxn 사이즈의 convolutions 필터를 연속적으로 통과시켜주는 형태였는데, GoogLeNet에서는 1x1 and 3x3 and 5x5 convolutions 필터를 병렬적으로 통과시켜줌으로써 하나의 layer에서 다양한 크기의 receptive field와 feature 를 고려할 수 있게 만들었다.

naive version에서 연산량을 최적화하기 위해 3x3 과 5x5 convolutions filter 앞단에 1x1 convolution을 먼저 통과시켜서 채널 수를 줄이는 방법을 사용하였다.

트레이닝 단계에서는 Auxilary classifier를 보조로 사용하지만, 학습이 끝나면 최종 output classifier만 사용한다.
FC layer의 파라미터를 줄이기 위하여 Global Average Pooling을 적용하였다.

inception module을 활발하게 사용해서 레이어를 22층까지 쌓을 수 있었으나, 더 많은 레이어를 쌓았을때 발생할 수 있는 gradient vanishing 문제 혹은 underfitting 등의 문제를 만나게 된다.