🚩딥러닝 기초 - part20. CNN 이해하기

Introduction

이미지 분류 문제에 주로 사용되는 CNN에 대해서 알아보자!

CNN의 구성

가장 보편화된 CNN의 구조라고 할 수 있다.

각 레이어의 역할

• Convolution Layer는 특징을 추출하는 역할
• Pooling Layer는 분류를 잘할 수 있도록 도와주는 역할.(과적합 방지 및 전체 매개변수를 줄여 연산량을 감소)
• FC Layer는 추출된 특징을 통해 학습하는 역할을 한다.

CNN에서 학습되는 것은?

Convolution Layer에서 특징을 잘 추출할 수 있도록하는 kernel의 가중치(weight)가 학습된다.
커널이란 컨볼루션 레이어가 학습될 때 사용되는 하나의 판과 같다.
미리 보자면 이미지에 뻥 뚫린 저 사각형이 커널이다.

---

DMLP와 CNN의 비교

DMLP(Fully Connected)

• 완전 연결 구조로 높은 복잡도를 가짐
• 학습이 매우 느리고, 과적합의 우려가 있음

CNN

• 컨볼루션 연산을 이용한 부분 연결 구조로 모델의 복잡도를 낮춤
• 컨볼루션 연산의 좋은 특징 추출(Weigth Sharing, 지역적인 특징 학습)
• 격자 구조(영상, 음성)등에 적합
• 인간 시각과 유사한 수용장을 가짐

---

컨볼루션 연산 과정

커널이 이미지를 이동하며 커널과 feature맵 간의 연산이 이루어진다.

바이어스를 추가된다면?

---

feature map의 개수

feature map이란?

컨볼루션 연산을 통과했을 때, 나오게되는 추출된 특징 map이다.
이러한 feature map의 개수는 컨볼루션 layer에서의 커널의 개수에 따라서 달라지게 된다.

해당 커널 하나당 새로운 feature map이 하나씩 생성되는 것.
이러한 feature map의 많은 생성으로 인해 과적합 및 많은 연산량이 생길 수 있는데, 이를 해결하는 것이 바로 Conv2D 이후 진행하는 Maxpooling2D과 같은 과정이다.

컨볼루션 연산의 예시와 결과

RGB 3개의 값을 가지는 이미지가 있다고 하자. (7x7x3)
이러한 이미지는 3depth를 가진다. (깊이가 총 RGB로 3이라는 뜻)
이때 각각의 채널에 대해서 다른 커널을 적용해도 되고, 같은 커널을 적용해도 될 것이다.
여기서는 하나의 커널을 각각 다르게 행의 교체만을 통해 사용했으므로, 결과적으로 단 한개의 커널만을 사용했다.

커널의 사용개수 = 이후 생성되는 feature map의 개수 이므로 해당 결과는 (5x5x1)의 결과가 나오게 된다.

dept는 1인것을 알겠는데, 이미지의 크기는 왜 줄었을까? 아래서 나오는 padding과 stride에 관련된 내용이다.

컨볼루션 Layer통과 이후 이미지의 크기가 줄어든 이유?

단순하게 미리 말하자면 합성곱 신경망(Convolution Layer)를 통과하는 과정에서 3x3 커널이 사용되었다. 이 때, 이러한 커널이 이미지 위에서 움직여가며 합성곱연산이 이루어지게 되는데 맨 가쪽에 있는 edge(경계)영역의 픽셀에는 옆에 공간이 없기에 커널이 올라가지 못해 합성곱 연산을 진행할 수 없다. 따라서 연산이 되지않으므로 해당 부분만큼 이미지의 크기가 감소하는 것이다.

참고로 Tensorflow에서의 함수는

Conv2D(1,(3, 3),input_shape = (7,7,3), activation = 'relu')

이러한 함수가 동작했다는 것을 알 수 있다.

---

Padding(패딩)

가장자리에서 컨볼루션 연산이 이루어 지는 것을 막기위해 Image에 가상의 픽셀을 채워 가장자리 영역또한 컨볼루션 연산이 이루어지도록 하는 것이다.

현재 그림에서는 5x5 input image에 대해서 padding을 적용하였기에 결과가 5x5 크기그대로 나온다.

padding의 종류

padding을 하는 방식에는 여러가지가 있는데 옆의 픽셀의 값을 복사하는 방법, 그냥 0으로 채우는 방법(zero padding)등이 있다.
영상처리 파트에서 이것에 대해서 제대로 다시 다뤄보도록 하겠다.

Stride

커널을 움직이는 보폭 size를 뜻한다.

움직이는 보폭을 2칸씩 이동하니 당연히 중간에서 연산이 안되는 부분이 생긴다.
연산이 되지않으면 결과 영상에 포함되지 않으므로, padding을 하더라도 크기가 줄어드는 결과를 확인 할 수 있다.

padding과 stride의 관계

padding을 한다고해서 따라서 영상이 항상 줄어들지 않도록 하는 것은 아니다. stride가 = 2 이상으로 적용될 시, 다음과 같이 padding 시에도 영상의 크기가 줄어든다.

• stride = 1 (padding 시, 영상의 크기가 그대로 나오게 됨)
  

• stride = 2 (padding 시에도 영상의 크기가 줄어듬)
  

숫자는 임의로 표기한 것이므로 숫자는 따로 크게 계산하지 않길 바란다.

---

Convolution Layer 이후 영상의 크기 및 학습되는 param의 수

영상의 크기

$W - F + 2P \over {S}$+1 다음과 같은 수식으로 구할 수 있다.

param의 수(학습되는 파라미터의 수)

학습되는 파라미터의 수는 기본적으로 "커널" 이 학습되는 것에 유의하며 구하면 쉽다.
(7x7)커널을 64개 사용하고 input_shape가 (5x5x1) 이라고 가정하자.

(커널 가로) x (커널 세로) x (커널의 수) x (input shape의 depth) + 해당 커널의 bias 수

7 x 7 x 64 x 1 + 64 = 3,200

여기서 커널이 학습되니 커널에 총 3x3개의 값 그리고 이러한 커널이 총 32개
depth가 1까지는 쉬운데, bias는 무엇일까?

bias란 커널마다 하나씩 붙는 편향치 값이다.
따라서 커널이 총 32개 학습되므로 최종 값에 32를 더해주면 된다.

커널이 학습되므로 이미지의 크기(28x28)는 param에 들어가지 않는다는 점을 주의하자.

---

실제 Tensorflow에서의 param 개수

conv2D

해당 예제의 2번재 Conv2D 연산을 보자.
커널이 3X3, 커널의 수 64, input으로 들어오는 depth는 32가 된다.
따라서 3 x 3 x 64 x 32 = 18,432 개의 param이 된다.

여기서 커널의 수 만큼 bias가 존재하므로 64를 더해준다면?
최종적으로 18,496의 결과를 얻을 수 있다.

Flatten

그럼 좀 더 아래쪽 flatten을 보자
flatten은 간단히 현재 이미지를 1차원 열벡터로 변경하는 것이므로 가로x세로xdept를 곱하면 된다.

12x12x64 = 9,216

Dense(Fully Connected Layer)

이후 dense를 살펴보면 128개의 노드를 사용하고 있다.

FC와는 Conv2D는 구해지는 것이 약간 다르다. 하지만 생각해보면 쉽다.

FC는 들어오는 층의 노드의 개수 X 현재 층의 노드 개수 + bias의 수로 구해진다.
여기서의 bias는 커널의 수와 같이 해당 dense layer에서의 노드 수와 같다.

따라서 9216 x 128 + 128(node별 bias의 개수)를 통해 1,179,776의 값을 얻을 수 있다.

사실 9216 + 1 x 128과 같은 연산결과가 나오나, 식을 이해하기에는 저렇게 쓰는 것이 훨씬 쉽다고 생각한다.

Dense만을 사용한 모델의 예제

인풋 x 아웃 풋(현재 개수) + 현재 층의 bias 수

• 60 x 24 + 24 = 1464
• 24 x 10 + 10 = 250
• 10 x 1 + 1 = 11

---

Pooling Layer

의미

분류를 잘 수행할 수 있도록 입력 feature map의 크기를 줄인다.
즉, 추출된 feature중에서 중요한 것만 추출하겠다.
(이를 통해 수식의 연산량또한 감소하는 효과또한 가진다.)

특징

• 추출된 feature에서 요약 통계를 추출한다.
• 매개변수가 없다.
• 특징 맵의 크기는 줄어드나, 그 개수는 유지한다. ex.) (24, 24, 3) -> (12, 12, 3)
• 작은 이동에(사소한 부분의 변화) 둔감하다. 따라서 물체 인식, 영상 검색등에 효과적이다.

종류

예시(평균 풀링)

---

Code 실습 (Mnist data)

import tensorflow as tf
import matplotlib.pyplot as plt
import numpy
import os
from keras.datasets import mnist
from keras.utils import np_utils
from keras.models import Sequential
from keras.layers import Dense, Dropout, Flatten, Conv2D, MaxPooling2D
from keras.callbacks import ModelCheckpoint,EarlyStopping
# seed 고정
seed = 0
numpy.random.seed(seed)
tf.random.set_seed(3)
# 데이터 불러오기 / 나누기
(X_train, Y_train), (X_test, Y_test) = mnist.load_data()
X_train = X_train.reshape(X_train.shape[0], 28, 28, 1).astype('float32') / 255
X_test = X_test.reshape(X_test.shape[0], 28, 28, 1).astype('float32') / 255
Y_train = np_utils.to_categorical(Y_train)
Y_test = np_utils.to_categorical(Y_test)
# 컨볼루션 신경망(합성곱 신경망) 설정
model = Sequential()
model.add(Conv2D(32, kernel_size=(3, 3), input_shape=(28, 28, 1), activation='relu'))
model.add(Conv2D(64, (3, 3), activation='relu'))
model.add(MaxPooling2D(pool_size=2))
model.add(Dropout(0.25))
model.add(Flatten())
model.add(Dense(128, activation='relu'))
model.add(Dropout(0.5))
model.add(Dense(10, activation='softmax'))
model.compile(loss='categorical_crossentropy’, optimizer='adam’, metrics=['accuracy'])
# 모델 최적화 설정
MODEL_DIR = './model/'
if not os.path.exists(MODEL_DIR):
os.mkdir(MODEL_DIR)
modelpath="./model/{epoch:02d}-{val_loss:.4f}.hdf5"
checkpointer = ModelCheckpoint(filepath=modelpath, monitor='val_loss', verbose=1,
save_best_only=True)
early_stopping_callback = EarlyStopping(monitor='val_loss', patience=10)
# 모델 실행 
history = model.fit(X_train, Y_train, validation_data=(X_test, Y_test), epochs=30, 
batch_size=200, verbose=0, callbacks=[early_stopping_callback,checkpointer])
# 테스트 데이터 세트 정확도 출력
print("\n Test Accuracy: %.4f" % (model.evaluate(X_test, Y_test)[1]))
# 그래프로 표현
y_loss = history.history['loss']
y_vloss = history.history['val_loss']
# 그래프에 그리드를 주고 레이블을 표시
x_len = numpy.arange(len(y_loss))
plt.plot(x_len, y_vloss, marker='.', c="red", label='Testset_loss')
plt.plot(x_len, y_loss, marker='.', c="blue", label='Trainset_loss')
# 
plt.legend(loc='upper right')
plt.grid()
plt.xlabel('epoch')
plt.ylabel('loss')
plt.show()

결과

분류하지 못한 Mnist data