🏆 학습 목표

• Part 1: Convolution & pooling 개념을 설명할 수 있다.
• Part 2: CNN을 이용하여 분류(Classification)문제에 적용할 수 있다.
• Part 3: 전이학습(transfer learning)을 이용하여 image classification을 할 수 있다.
  
  
  

---

완전연결 계층의 문제점
= '데이터 형상의 무시'


이미지는 세로, 가로, 채널(색상)로 구성된 3차원 데이터이지만
전연결(FC, Fully Connected) 신경망을 학습시켜야 할 경우에 입력 데이터는 1차원(배열) 형태로 한정되어 3차원 사진 데이터를 1차원으로 평면화(Flatten)시켜야 한다.
이 때 사진 데이터를 평면화 시키는 과정에서 공간 정보가 손실될 수밖에 없다.
이미지는 3차원 형상이며, 이 형상에는 소중한 공간적 정보 즉, 3차원 속에서 의미를 갖는 본질적인 패턴이 숨어 있다. (ex. 공간적으로 가까운 픽셀은 값이 비슷하거나, RGB의 각 채널은 서로 밀접하게 관련되어 있거나, 거리가 먼 픽셀끼리는 별 연관이 없는 등) 그러나 완전연결 계층은 이러한 형상을 무시하고 모든 입력 데이터를 동등한 뉴런(같은 차원의 뉴런)으로 취급하여 결과적으로 이미지 공간 정보 유실로 인한 정보 부족으로 인공 신경망이 특징을 추출 및 학습이 비효율적이고 정확도를 높이는데 한계가 있다.


한편, 합성곱 계층은 형상을 유지한다. 이미지도 3차원으로 입력받으며, 마찬가지로 다음 계층에도 3차원 데이터로 전달한다. 그래서 CNN에서는 이미지처럼 형상을 가진 데이터를 제대로 이해할 (가능성이 있는) 것이다.

1. CNN(Convolutional Neural Network)

• 초창기에 CNN을 개발한 분들이 고양이가 보는 것마다 자극 받는 뇌의 위치가 다른것을 보고 아이디어를 얻어 CNN을 만듬
• 즉, image 전체를 보는 것이 아니라 부분을 보는 것이 핵심 아이디어
• 이 '부분'에 해당하는 것 = filter
• [Machine Learning] CNN이란?
  
  
  

1.1 특징

• CNN은 크게 이미지의 특징을 추출하는 부분 + Flatten + 클래스를 분류하는 부분으로 나뉜다.

  • Feature extraction (특징 추출 영역)

    • 입력데이터(input)의 고유한 특징(invariance)을 찾는 단계
    • Convolution Layer와 Pooling Layer를 여러 겹 쌓는 형태
    • Convolution Layer : 입력 데이터에 필터를 적용 후 활성화 함수를 반영하는 필수 요소
    • Pooling Layer : 선택적인 레이어

  • Flatten layer : 이미지 형태의 데이터를 배열 형태로 만듦

  • Classification (클래스 분류 영역)
    

    • 찾아진 특징들을 가지고 class를 고르는 단계
    • 이미지 분류를 위한 Fully Connected 레이어 추가

• CNN의 인기비결

  • 이전 이미지 학습 기술에 비해 이미지 전처리 (자르기 / 센터링, 정규화 등)가
    상대적으로 거의 필요하지 않다.
  • 이와 관련하여 이미지의 모든 종류의 일반적인 문제 (이동, 조명 등)에 대해 견고함

1.2 차별성 (Fully Connected Neural Network 대비)

• 각 레이어의 입출력 데이터의 형상 유지
• 이미지의 공간 정보를 유지하면서 인접 이미지와의 특징을 효과적으로 인식
• 복수의 필터로 이미지의 특징 추출 및 학습
• 추출한 이미지의 특징을 모으고 강화하는 Pooling 레이어
• 필터를 공유 파라미터로 사용하기 때문에, 일반 인공 신경망과 비교하여 학습 파라미터가 매우 적음

---

2. Feature extraction (특징 추출 영역)

2.1 주요 용어 정리

CNN 주요 용어

• $Convolution$ (합성곱)
• 채널 ($Channel$)
• 필터 ($Filter$)
• 커널 ($Kernel$)
• 스트라이드 ($Stride$)
• 패딩 ($Padding$)
• 피처 맵 ($Feature Map$), 액티베이션 맵 ($Activation Map$)
• 풀링 ($Pooling$) 레이어

합성곱, Convolution

• 컴퓨터 위에서 그림이란 것은 여러 개의 픽셀로 이루어진 행렬(matrix)로 볼 수 있다.
  Convolution Matrix는 이 커다란 픽셀 배열에 작은 행렬을 통해 그 픽셀의 값을 수정하는 방법이다. (Wikipedia)
  
• CNN은 convolution을 통해 특정 영역, 모양, 색상, 방향 및 기타 일반적인 시각적 특징을 수용하도록 영역별로 전문화가 이루어지는 고양이의 시각적 접근 방식을 모방한다.
• 한 함수가 다른 함수를 수정하는 방법을 보여주는 세 번째 함수를 생성하는 두 함수에 대한 연산
• 컨볼루션을 적용하면 입력의 "모양(shape)"이 효과적으로 변환된다.
• 세 번째 공동 함수(Weight Sharing)를 계산하는 프로세스와이를 적용하는 프로세스를 모두 지칭하는 데 사용
• Convolution Layer는 Filter 크기, Stride, Padding 적용 여부, Max Pooling 크기에 따라서 출력 데이터의 Shape이 변경된다.

• 1-D Convolution
  

### np.convolve()
import numpy as np
input = [0, 0, 26, 51, 58, 59, 53, 29, 0, 0, 0]
patch = [-1, 2, -1]  # filter
output = np.convolve(input, patch)  # convolution
print(output)  # "edge"들을 찾아냄
"""
[  0   0 -26   1  18   6   7  18   5 -29   0   0   0]
"""

• 2-D Convolution
  이미지의 노란색 부분으로 변하는 부분이 Convolution filter와 만나는 부분이며
  그렇게 연산이 되었을 때, 분홍색의 output값을 얻을 수 있다.
  

채널, Channel

• 이미지 픽셀 하나하나는 실수

• 채널의 수 = convolution에 속한 matrices의 $depth$

• 컬러 사진 : 각 픽셀을 RGB 3개의 실수로 표현한 3차원 데이터로 3개의 채널로 구성

  ❗주의해야할 점

  • 필터의 개수와 각 필터별 채널의 개수를 혼동하지 않아야 한다!
  • feature map의 channel과 depth는 혼용해서 쓰는 용어이다. channel이 많을수록 depth가 깊다고 할 수 있다. 그런데 이때 각 channel은 반드시 색깔로 구분되는 게 아니다. 가장 좋은 방법은 입력된 이미지를 5개 이상의 채널로 만들어주는 Conv2D 모델을 만들어서 출력 결과물의 각 channel을 직접 출력하여 확인해 보시는 것이다. Conv2D에서 filter를 여러 개 쓰는 이유는 여러 개의 channel을 만드는 것 자체가 목적이 아니라, 다양한 특징(패턴)을 추출해 내기 위함이다.

• $w$ x $h$ x $c$ ($w$=width of image, $h$=height of image, $c$=number of channels)
  ex. (39, 31, 3)

• 흑백 사진(grayscale image) : 2차원 데이터로 1개 채널로 구성
  $w$ x $h$
  ex. (39, 31, 1)

• Convolution Layer에 n개의 필터 적용 -> 출력 데이터= n개의 채널

필터(Filter), 커널(Kernel), 마스크(mask)

• 이미지의 특징을 찾아내기 위한 공용 파라미터

• 가중치 (weights parameters)의 집합(Filter의 매개변수 = 가중치)으로 이루어져
  가장 작은 이미지의 특징을 잡아내는 창

• 정사각행렬로 정의 : (2, 2), (3, 3), (4, 4)

• Filter 연산 = 합성곱 연산

• Filter의 크기가 커지면 출력되는 feature map이 작아짐 (반비례 관계)
  
  

• 입력 데이터가 여러 채널(RGB)을 가질 경우
  필터는 입력 데이터를 지정된 간격으로 순회하며 합성곱을 계산한 후,
  채널별 피처 맵을 만들고 각 채널의 피처 맵을 모두 합산하여 최종 피처 맵으로 반환한다.
  입력 데이터는 채널 수와 상관없이 필터 별로 1개의 피처맵이 만들어진다.

• 하나의 Convolution Layer에 크기가 같은 여러 개의 필터를 적용할 수 있다.
  이 경우에 입력데이터에 적용한 필터의 개수 -> 출력 데이터인 Feature Map의 채널

스트라이드 (Stride)

• 필터(filter)를 적용하는 위치의 간격
• Stride를 이용한 Convolution의 경우는 pooling이 자동으로 되는 방식(GAN)
• Stride를 키우면 출력 크기(feature map size)는 작아짐 : 2 x $Stride$ 만큼
  
  
  • $stride$=1 : 7x7 -> 5x5
    
  • $stride$=2 : 7x7 -> 3x3
    

패딩(Padding)

Convolution 레이어에서 Filter와 Stride의 작용으로
Feature Map 크기(output)는 입력데이터보다 작다.

• Convolution 레이어의 출력 데이터가 줄어드는 것을 방지하는 방법으로
  입력 데이터의 외각에 지정된 픽셀만큼 특정 값으로 채워 넣는 것을 의미하며
  보통 패딩 값으로 0을 채워 넣는다.

• 목적

  • 가장자리 정보(Edge pixel data) 유실 감소 (2 x $padding$ 만큼 작아짐)
    -> 인공 신경망이 이미지의 외각을 인식하는 학습 효과
  • 출력 크기 조정 및 feature map size 유지
    • input = output
    • 합성곱 연산을 거칠 때마다 크기가 작아지면 어느 시점에서는
      출력 크기가 1이 되어버리는데 이렇게 되면 더 이상 합성곱 연산을 적용할 수 없다.

• Zeros(zero-padding) 또는 다른 값을 이미지의 외각(가장자리)에 배치하여
  conv를 할 때 원래 이미지와 같은 데이터의 수를 가질 수 있도록 도와줌 (Stride = 1일 때)

• padding을 하게 되면 안 한 거에 비해 Flatten된 FC 차원이 크다
  (feature map의 크기가 줄지 않으므로)

• valid : padding 사용 안 함 / same : padding 사용

피처 맵 (Feature Map), 액티베이션 맵 (Activation Map)

• Convolution Layer의 입력 데이터를 필터가 순회하며 합성곱을 통해서 만든 출력

  • Feature Map : 합성곱 계산으로 만들어진 행렬
  • Activation Map : Feature Map 행렬에 활성 함수를 적용한 결과로 Convolution 레이어의 최종 출력 결과

• feature map 채널 수 : 3 -> 32

  • filter 크기: (3,3)
  • filter 개수 : 32
  • 한 filter의 채널 개수 : 3
  • 가중치의 개수 : 32 x 3 x (3 x 3) -> 필터가 가중치의 집합이므로
    • 가중치의 개수 = 필터 개수 x 한 필터의 채널 개수 x 필터 크기
    • 96 x 9 -> 모두 독립적인 가중치

풀링 (pooling) 레이어

• 컨볼루션 레이어의 출력 데이터(Activation Map)를 입력으로 받아서
  출력 데이터의 크기를 줄이거나 특정 데이터를 강조하는 용도로 사용된다.
• 처리 방법 : Max Pooling, Average Pooning, Min Pooling
• 일반적으로 Pooing 크기와 Stride를 같은 크기로 설정하여 모든 원소가 한 번씩 처리 되도록 설정한다.
• Pooling 레이어는 Convolution 레이어와 비교하여 다음과 같은 특징이 있다.
  • 업데이트를 해야 할 가중치가 필요 없음(학습해야 할 매개변수가 없다)
  • 연산 속도가 조금 더 빠름
  • Pooling 레이어를 통과하면 채널 수는 변하지 않고 행렬 크기(이미지의 사이즈)만 감소한다.
    (채널마다 독립적으로 계산하기 때문에 입력 데이터의 채널 수 그대로 출력 데이터로 내보냄)
  • 입력의 변화에 영향을 적게 받는다(강건하다)

---

3. Classification (클래스 분류 영역)

CNN의 일반적인 출력 계층은 분류 또는 감지 문제를 지향
-> "이 사진에 고양이, 개 또는 다른 동물이 포함되어 있습니까?"

• depth : 채널 수
  

---

4. 레이어별 출력 데이터 계산

---

5. 전이학습 (Transfer Learning)

• 기존(내 목적과는 다른) 데이터로 학습된 네트워크(기성품)를 재사용 가능하도록하는 라이브러리
• 전이학습을 통해 수천 시간의 GPU로 학습된 모델을 다운받아 내 작업에 활용할 수 있다.
• 가중치(Weights)와 편향(bias)이 포함된 학습된 모델의 일부를 재사용(전체를 다 재학습할 수도 있다.)
• 교육 데이터를 적게 사용하고, 교육 속도가 빠르며, 더 잘 일반화하는 모델을 가질 수 있다.
• 사용 방법
  1. 이전에 학습한 모델에서 파라미터를 포함한 레이어를 가져옵니다.
  2. 향후 교육 과정 중에 포함된 정보가 손상되지 않도록 해당 정보를 동결(freeze, 가중치를 업데이트 하지 않음)합니다.
  3. 동결된 층 위에 새로운 층 (학습 가능한 층)을 더합니다.
     -> 출력층(output)의 수를 조절하여 새로운 데이터셋에서 원하는 예측방법(분류, 회귀 등)으로 전환하는 방법을 배울 수 있게됩니다.
  4. 새로운 데이터셋에서 새로 추가한 계층만을 학습합니다.
     -> 만약 기존 레이어를 동결하지 않으면, 학습된 레이어에서 가져온 weight까지 학습
     -> 위 경우 학습할 것이 많아지므로 시간이 오래걸립니다.

벤치마크 모델 : ResNet50
ResNet은 CNN의 일종인데, 기존의 Squential 모델과 달리 skipped connection이 있는 모델이다. 이 연결을 통해서 더 깊은 층을 만들더라도 학습이 가능해진다.