🤖 로키 부트캠프 2차 스터디 - CNN

이번 스터디에서는 CNN이 무엇인지, 그리고 작동 원리와 실습을 다루려 한다.

CNN은 Convolutional Neural Network의 약자로, 이미지 처리와 패턴 인식에 탁월한 성능을 보여주는 인공 신경망 알고리즘이다.

1. 이미지 데이터의 이해

이미지는 픽셀로 이루어진 격자 형태의 데이터이다. 이를 이해하기 위해서는 먼저 우리가 다루는 이미지 데이터가 어떤 형태인지 알아야 한다.

보시다시피 이미지는 무수히 많은 사각형 픽셀(Pixel)들로 이루어진 격자 형태의 데이터이다.
각각의 픽셀은 RGB 값을 가진 숫자 데이터로 컴퓨터에 인식됩니다.

CNN은 이러한 이미지 데이터의 공간적 특징을 추출하여 학습하고, 이를 기반으로 패턴을 인식하는 데 사용됩니다. 이를 위해 CNN은 크게 세 가지 층으로 구성됩니다.

• 합성곱 층(Convolutional layer)
• 풀링 층(Pooling layer)
• 밀집 층(Fully-connected layer)

2. 합성곱 층

합성곱 층은 CNN의 핵심으로, 이미지의 지역적인 패턴을 감지하고 추출하는 역할을 한다.

위의 이미지처럼 합성곱 층은 입력 이미지 위로 작은 크기의 kernel 를 슬라이딩시키며 연산을 수행하고, 그 결과로 새로운 Feature Map 을 생성한다.
이를 통해 이미지의 지역적인 패턴을 감지하고 추출할 수 있다.

그렇다면 합성곱 연산은 구체적으로 어떻게 이루어질까?

연산 방식은 생각보다 단순하다. 이미지의 일부분과 커널이 겹쳐질 때, 각 위치에 대응하는 픽셀 값들을 곱한 뒤 모두 합산하는 과정을 거치면 된다.

이 과정을 통해 이미지의 특정 부분과 커널의 형태가 유사할수록 높은 출력값을 반환하고, 유사하지 않으면 낮은 출력값을 반환하게 된다.

또한, kernel의 크기와 보폭(stride)은 합성곱 층의 feature map의 크기를 조절하는 중요한 요소인데, 커널의 사이즈가 작수록 이미지의 디테일한 특징들을 잡을 수 있지만 연산량이 늘어나고, 보폭(stride)가 작을수록 출력되는 feature map의 크기가 커진다. 따라서 커널의 크기와 보폭을 잘 조절하는 것이 중요하다.

3. 활성화 함수와 비선형성

합성곱 연산이 끝난 후에는 보통 활성화 함수(Activation Function) 를 거치게 됩니다.

3.1 💡 비선형성이란 왜 필요할까?

입력값에 가중치를 곱하고 더하는 합성곱 연산은 본질적으로 선형 연산이다. 선형 연산만 아무리 여러 층으로 깊게 쌓아도, 결국은 수학적으로 하나의 단순한 선형 연산으로 압축되어 버린다.
현실 세계의 복잡한 이미지 패턴은 단순한 직선 형태가 아니다. 따라서 네트워크가 복잡하고 굽어진 경계선을 학습할 수 있도록 ReLU와 같은 활성화 함수를 통해 의도적으로 비선형성 을 부여하는 것이다.
대표적인 활성화 함수로는 ReLU 함수가 있다. 0 이하의 값은 무시하고, 0보다 큰 값은 그대로 통과시키는 매우 단순한 구조지만, 딥러닝에서 비선형성을 효과적으로 추가해주고 학습 속도를 비약적으로 높여주어 모델이 복잡한 학습 패턴을 학습할 수 있도록 해준다.

4. 풀링 층(Pooling layer)

다음으로 풀링 층은 합성곱 층에서 추출된 feature map의 크기를 줄이고 연산량을 줄이면서 중요한 특징을 보존할 수 있는 역할을 한다.
CNN에서 사용하는 풀링 방식은 크게 두가지가 있다.

• Max Pooling : 주어진 풀링 윈도우 내에서 가장 큰 값만 남기는 방식.
• Average Pooling : 윈도우 내의 값들의 평균을 반환하는 방식

---

5. 밀집 층(Fully-connected layer)

밀집 층(Fully-connected layer)은 추출된 feature들을 기반으로 최종 출력을 생성하는 역할을 한다. 분류 모델의 마지막 단계에 주로 위치하며, 이전 층에서 뽑아낸 여러 차원의 지역적 특성들을 1차원으로 쭉 펴주는 Flatten 층을 먼저 거친다. 이후 1차원으로 변환된 모든 특징들이 밀집 층의 노드들과 모두 연결되어 최종 확률(예: 강아지일 확률 80%, 고양이일 확률 20%)을 계산해 냅니다. 부분적인 특징만으로는 전체를 판단할 수 없기에, 모든 요소를 종합적으로 고려하는 과정입니다.

6. 실제 CNN의 학습 작동 방식

그렇다면 CNN은 어떻게 정답을 맞춰 나가는걸까? 강와지와 고양이를 분류하는 모델을 예로 들어보자!

만약 강아지 이미지가 입력되었을 때 출력이 이상적인 정답이 [1,0] 이고, 고양이는 [0,1] 이라고 가정해보자.

1. 예측과 오차 발생 : 실제로 강아지 사진이 들어왔을 때 최종 출력값이 [0.7,0] 이 나왔다고 해보면 0.3이라는 오차가 발생한 것이다.
2. 역전파 : 모델은 이 오차를 줄이기 위해 모델은 출력층에서부터 역방향으로 신호를 보낸다. 이때 "이 오차를 만드는 데 각 커널의 가중치들이 얼마나 잘못했는지(기여했는지)" 를 수학적으로 계산하여 각 커널에게 책임을 묻는 과정이 바로 역전파이다.
3. 가중치 업데이트 : 역전파를 통해 각 커널의 책임(기울기, Gradient)이 계산되면, 각 커널의 경사하강법을 사용하여 강아지 이미지의 고유한 특징을 더 잘 잡아낼 수 있도록 kernel의 가중치를 미세하게 조정한다. 이 업데이트 과정의 핵심은 커널의 가중치 패턴이 강아지의 지역 특성(Local Feature)과 점점 유사해지도록 변한다는 점이다.

이러한 과정을 수많은 데이터에 대해 반복 학습하게 되면, 각각의 커널들은 강아지와 고양이의 특징을 잘 구분하는 필터로 변화된다.

🧠 마무리: 인간의 뇌와 CNN의 평행이론

눈을 통해 들어온 시각 정보는 시상에 있는 LGN을 거쳐서 점점 더 복잡한 상위 레벨의 처리 지역으로 데이터가 올라간다. 인간의 시각 정보 처리 과정은 상위 영역으로 올라갈 수록 처리하는 feature의 복잡도가 올라간다고 알려져 있다.
마치 CNN의 합성곱 층이 깊어질 수록 복잡한 형태의 feature를 처리하는 특성과 아주 유사하다고 볼 수 있다.
CNN과 사람의 뇌는 어느정도 유사성을 보이는 점이 흥미롭다.