CNN

정의

• DMLP (Deep Multi Layer Perceptron)

  • 완전 연결 구조로 높은 복잡도
  • 학습이 매우 느리고 과잉적합이 발생할 가능성이 있음
    • 해결방법으로 컨볼루션 신경망

• 컨볼루션 신경망(CNN; Convolutional Neural Network)

  • 격자 구조를 갖는 데이터에 적합
  • 컨볼루션 연산을 수행하여 특징 추출
  • 영상 분류나 문자 인식 등 인식문제에 높은 성능

컨볼루션 연산

• 컨볼루션 (Convolution)

  • 컨볼루션은 해당하는 요소끼리 곱해서 결과를 모두 더하는 선형 연산
  • 입력 * 커널 = 출력

• 보폭(Stride)

  • 커널을 다음 컨볼루션 연산을 위해 이동시키는 칸수

• 패딩(Padding)

  • 컨볼루션 결과의 크기를 조정하기 위해 입력 배열의 둘레를 확장하고 0으로 채우는 연산

• 풀링(Pooling)

  • 일정 크기의 블록을 통합하여 하나의 대표값으로 대체하는 연산
    • 최대값 풀링(Max Pooling) : 최대값을 대표값으로
    • 평균값 풀링(Average Pooling) : 평균값을 대표값으로

컨볼루션 신경망 구조

• 특징 추출
  • 컨볼루션 연산을 하는 Conv층
  • ReLU 연산을 하는 ReLU
  • 풀링 연산을 하는 Pool
• 추출된 특징을 통해 분류나 회귀를 수행하는 다층 퍼셉트론
  • 전체 연결된(Fully connected) FC층 반복
  • 분류의 경우 마지막 층에 소프트맥스(Softmax) 연산 수행

(실습) AlexNet 모델

PyTorch에서의 AlexNet

• 8개의 계층
  • 5개의 컨볼루션층
  • 3개의 FC층
• ReLU 함수 사용
• FC층 drop-out 기법 사용
• Max Pooling 사용

import torch
import torch.nn as nn
from .utils import load_state_dict_from_url
from typing import Any

__all__ = ['AlexNet', 'alexnet']

model_urls = {
    'alexnet': 'https://download.pytorch.org/models/alexnet-owt-4df8aa71.pth',
}

class AlexNet(nn.Module):

    def __init__(self, num_classes: int = 1000) -> None:
        super(AlexNet, self).__init__()
        self.features = nn.Sequential(
            #Conv1
            #input channel : 3 , output channel : 64, kernel_size : 11, stride : 4, padding : 2
            nn.Conv2d(3, 64, kernel_size=11, stride=4, padding=2),
            nn.ReLU(inplace=True), # inplace=True 하면, inplace 연산을 수행함, inplace 연산은 결과값을 새로운 변수에 값을 저장하는 대신 기존의 데이터를 대체하는것을 의미
            #Max Pool1
            nn.MaxPool2d(kernel_size=3, stride=2),
            #Conv2
            nn.Conv2d(64, 192, kernel_size=5, padding=2),
            nn.ReLU(inplace=True),
            #Max Pool2
            nn.MaxPool2d(kernel_size=3, stride=2),
            #Conv3
            nn.Conv2d(192, 384, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            ##Conv4
            nn.Conv2d(384, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            #Conv5
            nn.Conv2d(256, 256, kernel_size=3, padding=1),
            nn.ReLU(inplace=True),
            #Max Pool3
            nn.MaxPool2d(kernel_size=3, stride=2),
        )
        self.avgpool = nn.AdaptiveAvgPool2d((6, 6))
        self.classifier = nn.Sequential(
            #드롭아웃 
            nn.Dropout(),
            nn.Linear(256 * 6 * 6, 4096),
            nn.ReLU(inplace=True),
            nn.Dropout(),
            nn.Linear(4096, 4096),
            nn.ReLU(inplace=True),
            nn.Linear(4096, num_classes),
        )

    def forward(self, x: torch.Tensor) -> torch.Tensor:
        #특징 추출 부분
        x = self.features(x)
       
        x = self.avgpool(x)
        #output shape : (batch size * 256(channel), 6, 6)
        #Flatten
        x = torch.flatten(x, 1)
        #output shape (batch_size, 256 * 6* 6)
        #분류 분류 
        x = self.classifier(x)
        return x

def alexnet(pretrained: bool = False, progress: bool = True, **kwargs: Any) -> AlexNet:
    r"""AlexNet model architecture from the
    `"One weird trick..." <https://arxiv.org/abs/1404.5997>`_ paper.
    Args:
        pretrained (bool): If True, returns a model pre-trained on ImageNet
        progress (bool): If True, displays a progress bar of the download to stderr
    """
    model = AlexNet(**kwargs)
    if pretrained:
        state_dict = load_state_dict_from_url(model_urls['alexnet'],
                                              progress=progress)
        model.load_state_dict(state_dict)
    return model

TensorFlow에서의 AlexNet

• 특징은 PyTorch와 동일

import tensorflow as tf

def AlexNet(
  input_shape=None,
  weights=None,
  classes=1000,
  classifier_activation='softmax'):
  
  model = tf.keras.Sequential([
      #특징 추출 부분 
      #Conv 1
      tf.keras.layers.Conv2D(filters=96,
                              kernel_size=(11, 11),
                              strides=4,
                              padding="valid",
                              activation=tf.keras.activations.relu,
                              input_shape=input_shape),
      #Max Pool 1
      tf.keras.layers.MaxPool2D(pool_size=(3, 3),
                                strides=2,
                                padding="valid"),
      tf.keras.layers.BatchNormalization(),
      #Conv 2
      tf.keras.layers.Conv2D(filters=256,
                              kernel_size=(5, 5),
                              strides=1,
                              padding="same",
                              activation=tf.keras.activations.relu),
      #Max Pool 2
      tf.keras.layers.MaxPool2D(pool_size=(3, 3),
                                strides=2,
                                padding="same"),
      tf.keras.layers.BatchNormalization(),
      #Conv 3
      tf.keras.layers.Conv2D(filters=384,
                              kernel_size=(3, 3),
                              strides=1,
                              padding="same",
                              activation=tf.keras.activations.relu),
      #Conv 4
      tf.keras.layers.Conv2D(filters=384,
                              kernel_size=(3, 3),
                              strides=1,
                              padding="same",
                              activation=tf.keras.activations.relu),
      #Conv 5
      tf.keras.layers.Conv2D(filters=256,
                              kernel_size=(3, 3),
                              strides=1,
                              padding="same",
                              activation=tf.keras.activations.relu),
      #Max Pool 3
      tf.keras.layers.MaxPool2D(pool_size=(3, 3),
                                strides=2,
                                padding="same"),
      tf.keras.layers.BatchNormalization(),
      
      tf.keras.layers.Flatten(),
      
      #분류 층 부분
      #Fully connected layer 1 
      tf.keras.layers.Dense(units=4096,
                            activation=tf.keras.activations.relu),
      tf.keras.layers.Dropout(rate=0.2),
      #Fully connected layer 2
      tf.keras.layers.Dense(units=4096,
                            activation=tf.keras.activations.relu),
      tf.keras.layers.Dropout(rate=0.2),
      
      #Fully connected layer 3
      tf.keras.layers.Dense(units=classes,
                            activation=tf.keras.activations.softmax)
  ])

  return model