💡이 글의 목적

공부하면서 마주한 내용들을 요약 및 정리를 통해 다양한 사람들에게 공유하고 공유를 하면서 오개념 혹은 개념정리를 하기 위함입니다. 많이 피드백해 주시고 비판해 주십시오.

💡Overview

CNN(Convolutional Neural Networks)는 Kernel을 통해 비정형 데이터인 이미지처리에 유용한 기법으로 Detection, Semantic Segmentation 등 많은 분야로 확장되고 있습니다.

💡Key Concept

Define

📌 우리는 컴퓨터에 픽셀 단위로 아래와 같이 이미지를 저장하게 됩니다.

이러한 이미지를 이해하기 위해선 어떻게 해야

1. 문제를 정의한다. : Target이 연속형이냐 이산형이냐 이미지 복원이냐
2. 이미지의 차원을 정의 한다. : 28x28, channel = 3
3. kernel을 정의한다. : Kernel_size, padding, stride 등
4. Layer를 구성한다. : Dropout, Maxpooling
5. Target을 예측한다.

dimension

📌차원은 2가지가 있다. 아래 Arithmetic에서 중요한 역할을 하니 주의 깊게 봐주십쇼.

🐸Channel wise

파라미터에 직접적인 영향을 주는 차원으로 Input_channel과 Output_channel이 있다. 해당 예제에서는 input_channel은 128, output_channel은 64가 된다.

🐸Spatial wise

공간상의 차원을 말하고 눈,코,입등의 위치 표현이되어있는 정보다. 예제에서는 W:40과 H:50이 된다.

Kernel

이미지 데이터를 탐색하는 객체가 되고 Neural Network가 여기에 해당한다. 3X3등의 크기를 정하게 되면 크기를 기준으로 순차적으로 연산하며 Output을 결정한다.(Kernel은 채널 수 만큼 존재한다.)

padding

Kernel이 탐색하기에 부족한 부분을 채워주는 것으로 kernel_size를 고려해 맞춰주는 방법이다.

stride

Kernel을 이동시키는 step을 말한다. 2를 주게되면 2단계 이동을 하게 된다.

💡Arithmetic

parameter

$input\_channels * output\_channels * kernel\_size$

Input, Output

1x1 Convolution

👩🏻‍💻 이후 설명할 modern cnn에서는 파라미터를 줄이고 Layer는 더 깊게 구성하는 방식으로 소개가 됩니다. 1x1이 가져다 주는 효과를 이해만 하고 넘어 가주세요!

여기 32x32x128의 이미지를 28x28x64로 차원을 축소한다고 예를 들겠습니다.$(W,H,channel)$

앞선 공식에 따라 식을 구하게 된다면

$128 * 64 * (5* 5) = 204,800$

하지만 여기에 1by1 Conv를 추가하게 된다면

이렇게 2개의 Layer구성을 통해 구현이 가능합니다.(1by1은 $Spatial\_ dimension$바꿀 수 없기 때문입니다.)

$\{128* 64 * (1 * 1)\} + \{64 * 64 * (5* 5)\}$

$= 8,192+102,400 = 110,592$

하지만 파라미터의 수는 크게 변화가 20만게에서 10만개로 확연히 줄여주는 것을 알 수 있습니다.