Today I Learned

오늘 공부한 내용은 CNN이후 발전된 CNN들에 대해 공부했다.

Modern CNN

• Network를 깊게 쌓으면서 parameter 숫자를 줄이는 것이 관건.
  적은 parameter로 동일한 output을 내면 일반화 성능이 올라간다.

• 1x1 convolution fillter로 채널을 줄이고 파라미터를 줄이는 것이 주요 아이디어다.

AlexNet

• 8-layers에 60mil 파라미터

• 11x11x3의 필터. 5개의 convolutional 레이어. 3개의 Fully Connected 레이어.

• ReLU 활성화함수를 사용

• 2개의 GPU를 사용해 병렬로 학습

• Dropout을 적용하여 Overfitting을 방지. 드롭아웃은 학습 중에 랜덤하게 뉴런을 꺼서 모델이 특정 뉴런에 과도하게 의존하는 것을 막는 기법.

• Data Augmentation 기법을 사용하여 학습 데이터의 다양성을 높임

VGGNet

• 19(or 16)-layers에 110mil 파라미터

• Convolutional Layer에서 3x3 필터를 사용해서 depth를 늘림
  작은 필터 크기는 네트워크의 파라미터 수를 줄이고, 비선형성을 증가시킨다.
  ex) 5x5 필터 하나면 409k개 파라미터인데 3x3 필터 2번을 쓰면 295k개로 오히려 더 적음

• dropout 사용

GoogLeNet

• 22-layers에 4mil 파라미터. alexnet에 비해 층은 3배정도 늘었지만 파라미터는 10배 이상 줄었다.

• NiN(Network-in-Network) 네트워크 안에 네트워크가 반복되는 구조를 만듬.

• Inception block
  1개의 입력에 대해 여러 filter를 거침.
  1x1 Convolution에 넣어 channel을 줄였다가, 3x3나 5x5 Conv를 거치게해 다시 확장하는 방식
  결과적으로 채널 수를 줄여 파라미터를 줄임

• 1x1 Convolution
  special dimmension은 그대로 가고 channel을 줄여서 파라미터를 줄인다.
  128 -> 128 : 147k개
  128 -> 32(1x1 Conv) -> 128 : 4k+36k = 40k

ResNet

• 네트워크(layer)가 깊어지면 파라미터 수가 늘어 trainning error가 더 발생해 학습이 오히려 잘 안되는 문제가 발생하는데, 이를 해결해주어 레이어를 더 깊게 쌓을 수 있게 해준 논문이다.

• 잔차 학습(Residual Learning)으로 입력 데이터와 출력 데이터 간의 잔차를 학습하는 데 중점을 둔다. 레이어를 건너뛰는(shortcut) 경로를 학습하여 네트워크의 깊이를 증가시키면서 학습 능력을 향상시킨다.

DenseNet

• ResNet은 나온 값을 더하는것(f(x) + x)이라면 DenseNet은 두 값을 따로 쌓아서 관리(concatenation)한다. 이러면 채널이 계속 늘어날 수 있는데 1x1 conv를 활용해서 dimmension을 줄인다.

본 포스트의 학습 내용은 부스트클래스 <AI 엔지니어 기초 다지기 : 부스트캠프 AI Tech 준비과정> 강의 내용을 바탕으로 작성되었습니다.