[Week 3-3] 💡CNN

3주차 수요일

• CNN 기초

---

📝[CNN 기초]

MLP는 각 뉴런들이 선형 모델과 활성 함수로 완전히 연결된(fully-connected) 구조 > 모델의 규모가 커지면 가중치 파라미터의 수도 엄청나게 많아진다.

CNN(Convolutional Neural Network) 모델을 사용하게 되면 기존 MLP 모델의 가중치와는 다른 고정된 수의 커널을 가중치로 사용한다. 입력 데이터 위에서 커널을 움직여 가며 합성곱 (convolution) 연산을 수행한다. 하나의 커널은 입력 데이터 위에서 이동하더라도 그 값이 바뀌지 않는다.

이미지에 convolution을 적용하면 사용하는 커널에 따라 다른 특징을 추출해 낼 수 있다. (흐리게 하기, 외곽선 추출 등) CNN은 주로 이미지 처리에 사용하지만 입력 데이터가 벡터일 수도 있다 (1d Convnet).

입력 데이터 위를 스치고 지나가는 커널의 크기에 따라 출력 데이터의 크기가 달라진다. 입력이 H * W 크기, 커널이 K_h * K_w 크기, 출력은 O_h * O_w 크기라고 하면 이들의 관계는 다음과 같다.

컬러 이미지는 r/g/b 정보만 가지고 있는 채널이 3개 모여 만들어지는데, 컬러 이미지를 2차원 CNN의 입력으로 사용할 경우에는 convolution 연산을 각 채널마다 적용하게 된다. 이 때 커널의 수 역시 채널 수와 일치해야 한다.

---

[temp]

ILSVRC (ImageNet Large-Scale Visual Recognition Challenge) 에서 수상한 5개의 CNN 모델 구조

• AlexNet (2011)
  입력데이터에서 11x11 커널 사용하는데 점차 5x5> 3x3으로 크기 감소, 5 conv레이어, 3 dense레이어
  key) 활성함수로 ReLU 사용 > 이 시점에서는 다들? 시그모이드를 썼는데 ReLU를 써서 gradient vanishing 문제 해결됨
  GPU 사용
  Data augmentaition 사용
  Dropout 사용
  지금은 당연해 보이지만 당시에는 획기적인 아이디어였음. 지금 잘 되는 모델들 보면 다 저런 특성이 있지? 말하자면 기준을 잡아준 것

• VGGNet (2015)
  3x3 커널만을 사용, 레이어 깊이가 깊어짐(VGG16은 16레이어, VGG19는 19레이어), fully connected(dense) 레이어에서는 1x1 convolution함
  Dropout 사용
  3x3 커널로 레이어 두 개 쌓을 때랑 5x5 커널로 레이어 한 개 쌓을 때 얻는 특성 맵의 크기는 동일한데 3x3 커널을 쓰면 파라미터 수가 더 줄어든다.

• GoogLeNet (2014)
  Inception blocks라고 convolution 하기 전에 1x1 conv를 해서 파라미터 수를 줄이는데 이게 핵심 아이디어
  왜? >

---

👨‍👩‍👧‍👦[피어 세션]

어제와 같이, 한 명씩 전날 학습한 내용을 미니 세미나 형식으로 발표하기로 했다. 오차 역전파에 이야기를 하고 시간이 좀 남아서 오늘 강의 중 CNN에서 레이어 깊이를 늘리고 커널 크기를 줄이는 내용을 복습하다가 파라미터의 수를 줄이는 것이 왜 효과적인가에 대한 이야기를 했다.

아래 그림과 같이 레이어 깊이를 늘리고 커널 크기를 줄이면 파라미터의 수가 줄어드는데, 파라미터가 줄어들면 모델이 학습할 수 있는 표현의 잠재적 가짓수가 줄어드는 것이 아닌가 하는 이야기가 나왔다.

MLP 모델과 좀 헷갈렸는데, 토의 끝에 내린 결론은 다음과 같다.

• CNN에서 모델이 학습하는 표현이란 convolution 연산을 통해 뽑아내는 특성 맵일 것다.
• 파라미터가 너무 많으면 특성에 관련된 정보뿐이 아니라 별 관계 없는 불필요한 정보도 다 학습해 버려서 입력 데이터에 유착될 가능성이 있어 과적합될 위험이 있을 것이다.

확실하게 결론을 내릴 수가 없었는데, 조만간 이에 대해 조교님들께 질문해 보려고 한다.