👨‍🏫 본 리뷰는 cs231n-2017 강의를 바탕으로 진행했습니다.

Syllabus
Youtube Link

Convolution Neural Networks

📌 강의 앞부분에는 Convolution Neural Networks에 대해 언급하고 있습니다. 위의 사진처럼 Neural Networks을 image classification에 사용하면서 성공을 얻고, 그 이후부터는 대부분의 이미지처리에서는 CNN을 사용하게 되었습니다.

📌 위의 AlexNet이 처음으로 보여진 CNN 네트워크라고 알고있습니다. AlexNet을 시작으로 현재는 다양한 이미지분야에서 Neural Networks을 사용하고 있습니다. Detection, Segmentation, Keypoint, Image Captioning 등등 강의에서는 ConvNets are everywhere라고 표현하고 있습니다.

📌 기존의 Fully Connected Layer가 아닌 위의 Convoultion Layer를 Filter(Kernel)을 사용해 학습합니다. 일반적으로 32x32를 이미지의 사이즈 x3의 경우에는 RGB의 각각의 채널이라고 생각하면 됩니다.

📌 위의 사진과 같이 5x5x3 filter을 input image에 위에서 부터 슬라이딩 하면서 연산합니다. 각각의 연산 결과로 오른쪽의 activation map이 추출됩니다. 참고로 input image의 channel과 filter channel은 같아야합니다. filter size는 1x1, 3x3, 5x5.. 다양하게 있습니다.

📌 위의 과정을 각 filter의 수만큼 진행합니다. 그렇게 되면 결과적으로 28x28x6의 activation map은 추출됩니다. 여기서 input 32 -> 28로 줄어들게 되었는데, 이는 조금 뒤에 다시 다루게됩니다.

📌 위와 같이 각각의 Conv layer들은 activation function, pooling layer등등과 함께 구성됩니다.

📌 위에서 Low-level features을 확인하면 매우 작은 부분을 학습하고 있고, High-level feature로 가면 갈수록 더욱 구체적이고 물체에 가까운 것들을 학습합니다. 위의 보이는 각각의 뉴런 이미지들은 이미지가 어떻게 생겨야 해당 뉴런의 활성을 최대화 시킬 수 있을지 나타내는 것인데, 즉 비스스한 이미지가 들어오면 큰 출력값을 출력할 것입니다.

📌 위는 전반적인 CNN의 예시입니다. 각각의 Conv - ReLU - Pooling의 순서로 네트워크가 흘러가고 마지막에는 classification을 위해 Fully Connected layer을 사용합니다.

📌 filter는 위의 그림과 같이 왼쪽 위에서부터 Stride(=1)만큼 움직입니다. 위의 예시와 같이 7x7 input에 3x3 filter stride=1으로 학습하면 결과적으로 5x5 사이즈의 ouput이 나옵니다.

📌 여기서 stride=2로 한다면 어떤 output 사이즈가 나오게 될까요? 보시다 싶이 3x3 사이즈의 output이 나오게됩니다. 즉, stride로 output 사이즈를 조절할 수 있습니다.

📌 위의 과정을 공식화 하면 위와 같이 (N-F)/Stride + 1 이라는 공식이 나오게됩니다. 하지만 이런 방식으로 계속해서 학습하면 마지막 layer의 activation map 사이즈는 너무나도 작아질 것입니다. 또한 위의 방식으 경우 가장자리을 학습할 수 없습니다. 위와 같은 문제를 해결하기 위해 zero padding을 사용합니다.

📌 위와 같이 zero padding을 사용하면 7x7 -> 7x7을 Output으로 반환할 수 있습니다. 또한 가장자리 부분도 연산을 진행할 수 있습니다. 일반적으로 filter 사이즈가 3이면 zero pad = 1, 5이면 zero pad = 2, 7이면 zero pad = 3을 사용한다고 합니다.

• $(N-F+2*P)/stride + 1$

📌 결과적으로 위의 식으로 output 사이즈를 구할 수 있습니다.

📌 Input: 32x32x3, 10 filters 5x5 size with stride = 1, pad = 2라고 할 때 해당 layer의 filter 수는 어떻게 될까요? 정답은 (5x5x3 + 1(bias)) * 10 = 760개의 파라미터 수를 가집니다.

📌 위의 사진에서 공식을 볼 수 있습니다.

📌 위의 사진에서 언급되어 있지 않습니다만, 일반적으로 5x5 filter -> 5x5 receptive field라고 부른다고 합니다. 위의 28x28x5 activation map을 보시면 각각의 같은 공간에서 5개의 다른 특징을 가니는 값들이 존재합니다.

📌 CNN에는 Pooling layer가 존재합니다. 한 마디로 이야기하면 downsampling을 하는 용도로 사용됩니다. Pooling layer는 단순히 activatatiom map의 사이즈를 줄여줍니다.

📌 대표적으로 Max pooling 방법이 존재합니다. 위와 같이 2x2 filters and stride 2로 max pooling하면 4x4 -> 2x2 사이즈로 바뀌게 됩니다. max pooling은 매우 심플하게 filter 안의 값들 중 가장 큰 값을 선택합니다.

📌 일반적으로 F=2, 3과 Stride = 2로 사용한다고 합니다.

📌 각각의 layer들이 어떤 역활은 하는지 알아봤습니다. 위의 과정이 가장 기본적인 CNN 네트워크의 구조라고 생각됩니다.