CNN

합성곱 신경망은 이미지 전체를 한 번에 계산하는 것이 아닌 이미지의 국소적 부분을 계산함으로써 시간과 자원을 절약하여 이미지의 세밀한 부분까지 분석할 수 있는 신경망이다.

합성곱층의 필요성

이미지 분석은 아래의 그림 왼쪽과 같은 3x3 배열을 오른쪽과 같이 펼쳐서 각 픽셀에 가중치를 곱해 은닉층으로 전달하게 된다. 그러나 그림에서 보이는 것처럼 이미지를 펼쳐서 분석하게 되면 데이터의 공간적 구조를 무시하게 된다. 이를 방지하기 위해 합성곱층이 도입된다.

CNN 구조

합성곱 신경망(Convolutional Neural Network, CNN 또는 ConvNet)은 음성 인식이나 이미지/영상 인식에서 주로 사용되는 신경망이다. 다차원 배열 데이터를 처리하도록 구성되어 컬러 이미지 같은 다차원 배열 처리에 특화되어 있으며 다섯개의 계층으로 구성된다.

CNN은 합성곱층과 풀링층을 거치면서 입력 이미지의 주요 특성 벡터(feature vector)를 추출한다. 주요 특성 벡터들은 완전연결층을 거치면서 1차원 벡터로 변환되며, 출력층에서 활성화 함수를 거쳐 최종 결과를 출력한다.

1️⃣ 입력층

👉🏻 입력 이미지 데이터가 최초로 거치게 되는 계층

이미지는 높이(height), 너비(width), 채널(channel)의 값을 갖는 3차원 데이터이다.
이미지 채널은 흑백이면 1, 컬러이면 3 값을 갖는다.

2️⃣ 합성곱층

👉🏻 입력 데이터에서 특성을 추출하는 역할을 수행

이미지에 대한 특성을 감지하기 위해 커널(kernel)이나 필터를 사용한다.

커널/필터는 이미지의 모든 영역을 훑으며 특성을 추출하며 나온 결과물을 특성 맵(feature map)이라고 한다.
▶︎ 일반적으로 3x3,5x5 크기의 커널을 적용하는 것이 일반적이며, 스트라이드(stride)라는 지정된 간격으로 이동한다.

예시 1 (채널 = 1)

1단계)입력 이미지에 3x3 필터 적용

2단계) 스트라이드( = 1 )만큼 이동

3단계) 두번째 이동

마지막 단계) 마지막 이동으로 feature map 도출

---

예시 2 (채널 = 3)

이전 예시와는 다르게 RGB 각각에 서로 다른 가중치로 합성곱을 적용한 후 결과를 더해준다.

---

예시 3 (필터가 여러개)

▶︎ 예시에서는 필터가 4개

• 입력 데이터 : W x H x D (W : 가로, H : 세로, D : 깊이 또는 채널)
• 하이퍼파라미터
  • 필터 개수 : K
  • 필터 크기 : F
  • 스트라이드 : S
  • 패딩 : P
• 출력 데이터
  • W = (W - F + 2P) / S + 1
  • H = (H - F + 2P) / S + 1
  • D = K
• 패딩(Padding)
  합성곱 연산의 결과로 얻은 특성 맵은 입력보다 크기가 작아진다는 특징이 있다. 만약, 합성곱 층을 여러개 쌓았다면 최종적으로 얻은 특성 맵은 초기 입력보다 매우 작아진 상태가 되기 때문에 합성곱 연산 이후에도 특성 맵의 크기가 입력의 크기와 동일하게 유지되도록 하고 싶다면 패딩(padding)을 사용하면 된다.
  

3️⃣ 풀링층

👉🏻 특성 맵의 차원을 다운 샘플링하여 연산량을 감소시키고, 주요한 특성 벡터를 추출하여 학습을 효과적으로 할 수 있게 한다.

다운 샘플링이란 이미지를 축소하는 것이다.

• 최대 풀링(Max Pooling) : 대상 영역에서 최댓값을 추출
  

• 평균 풀링(Average Pooling) : 대상 영역에서 평균을 반환
  

평균 풀링은 각 커널 값을 평균화시켜 중요한 가중치를 갖는 값의 특성이 희미해질 수 있기 때문에 대부분의 합성곱 신경망에서는 최대 풀링이 사용된다.

• 입력 데이터 : W x H x D
• 하이퍼파라미터
  • 필터 크기 : F
  • 스트라이드 : S
• 출력 데이터
  • W = (W - F ) / S + 1
  • H = (H - F) / S + 1
  • D = D

4️⃣ 완전연결층

👉🏻 합성곱층과 풀링층을 거치면서 차원이 축소된 특성 맵은 최종적으로 완전연결층(fully connected layer)으로 전달된다. 이 과정에서 이미지는 3차원 벡터에서 1차원 벡터로 펼쳐치게(flatten) 된다.

5️⃣ 출력층

👉🏻 출력층에서는 소프트맥스 활성화 함수가 사용되는데 입력받은 값을 0 ~ 1 사이의 값으로 출력한다. 마지막 출력층의 소프트맥스 함수를 사용하여 이미지가 각 레이블(label)에 속할 확률 값이 출력되며, 가장 높은 확률 값을 갖는 레이블이 최종 값으로 선정된다.

class CNN(nn.Module):
    def __init__(self):
        super(FashionCNN, self).__init__()
        self.layer1 = nn.Sequential(
            nn.Conv2d(in_channels=1, out_channels=32, kernel_size=3, padding=1),
            nn.BatchNorm2d(32),
            nn.ReLU(),
            nn.MaxPool2d(kernel_size=2, stride=2)
        )
        self.layer2 = nn.Sequential(
            nn.Conv2d(in_channels=32, out_channels=64, kernel_size=3),
            nn.BatchNorm2d(64),
            nn.ReLU(),
            nn.MaxPool2d(2)
        )
        self.fc1 = nn.Linear(in_features=64*6*6, out_features=600)
        self.drop = nn.Dropout2d(0.25)
        self.fc2 = nn.Linear(in_features=600, out_features=120)
        self.fc3 = nn.Linear(in_features=120, out_features=10)

    def forward(self, x):
        out = self.layer1(x)
        out = self.layer2(out)
        out = out.view(out.size(0), -1)
        out = self.fc1(out)
        out = self.drop(out)
        out = self.fc2(out)
        out = self.fc3(out)
        return out

1D, 2D, 3D 합성곱

1D 합성곱

필터가 시간을 축으로 좌우로만 이동할 수 있다.

• 입력 : W
• 필터 : K
• 출력 : W

출력 형태는 1D의 배열이 되며, 그래프 곡선을 완화할 때 많이 사용된다.

2D 합성곱

필터가 방향 두 개로 움직이는 형태이다.

• 입력 : (W,H)
• 필터 : (k,k)
• 출력 : (W,H)

3D 합성곱

필터가 움직이는 방향이 세 개 있다. 이 때, d < L을 유지하는 것이 중요하다.

• 입력 : (W,H,L)
• 필터 : (k,k,d)
• 출력 : (W,H,L)

3D 입력을 갖는 2D 합성곱

입력이 3D 형태임에도 출력이 2D 행렬일 때 '3D 입력을 갖는 2D 합성곱'이라고 한다. 필터에 대한 길이(L)가 입력 채널의 길이(L)와 같아야 하기 때문에 이와 같은 합성곱 형태가 만들어진다.

• 입력 : (W,H,L)
• 필터 : (k,k,L)
• 출력 : (W,H)

1x1 합성곱

3D 형태로 입력된다. 1x1 합성곱에서 채널 수를 조정해서 연산량이 감소되는 효과가 있다.

• 입력 : (W,H,L)
• 필터 : (1,1,L)
• 출력 : (W,H)

---

전이 학습

전이 학습이란 이미지넷처럼 아주 큰 데이터셋을 써서 훈련된 모델의 가중치를 가져와 우리가 해결하려는 과제에 맞게 보정해서 사용하는 것을 의미한다. 비교적 적은 수의 데이터를 가지고도 우리가 원하는 과제를 해결할 수 있다.

특성 추출 기법

특성 추출(feature extractor)은 ImageNet 데이터셋으로 사전 훈련된 모델을 가져온 후 마지막에 완전연결층 부분만 새로 만든다. 학습할 때는 마지막 완전연결층(추출된 특성을 입력받아 최종적으로 이미지에 대한 클래스를 분류하는 부분)만 학습하고 나머지 계층들은 학습되지 않도록 한다.

model = models.resnet18(pretrained=True) #ResNet18모델을 사용, 사전 학습된 가중치를 사용한다.

for param in model.parameters():
	param.requires_grad = False # 완전연결층의 파라미터들만 학습시킬 것이기 때문에 합성곱층과 풀링층의 파라미터는 고정

model.fc = nn.Linear(512, 2)
for param in model.fc.parameters(): # 완전연결층은 학습시킬 것
    param.requires_grad = True

optimizer = torch.optim.Adam(model.fc.parameters())
cost = torch.nn.CrossEntropyLoss()

미세 조정 기법

미세 조정(fine-tuning) 기법은 특성 추출 기법에서 더 나아가 사전 훈련된 모델과 합성곱층, 데이터 분류기의 가중치를 업데이트하여 훈련시키는 방식이다. 사전 학습된 모델을 목적에 맞게 재학습시키거나 학습된 가중치의 일부를 재학습시키는 것이며 데이터셋에 잘 맞도록 모델의 파라미터를 조정하는 기법이다.

미세 조정 기법은 훈련시키려는 데이터셋의 크기와 사전 훈련된 모델에 따라 다른 전략을 세울 수 있다.

• 데이터셋이 크고 사전 훈련된 모델과 유사성이 작을 경우
  모델 전체를 재학습시킨다.
• 데이터셋이 크고 사전 훈련된 모델과 유사성이 틀 경우
  합성곱층의 뒬부분과 데이터 분류기를 학습시킨다.
• 데이터셋이 작고 사전 훈련된 모델과 유사성이 작을 경우
  합성곱층의 일부분과 데이터 분류기를 학습시킨다.
• 데이터셋이 작고 사전 훈련된 모델과 유사성이 클 경우
  데이터 분류기만 학습시킨다. 데이터가 적기 때문에 많은 계층에 미세 조정 기법을 적용하면 과적합이 발생할 수 있다.

설명 가능한 CNN

설명 가능한 CNN은 딥러닝 처리 결과를 사람이 이해할 수 있는 방식으로 하는 기술이다.

특성 맵 시각화

특성 맵은 입력 이미지 또는 다른 특성 맵처럼 필터를 입력에 적용한 결과이다. 특성 입력 이미지에 대한 특성 맵을 시각화한다는 의미는 특성 맵에서 입력 특성을 감지한 방법을 이해할 수 있도록 돕는 것이다.
설명 가능한 CNN [Colab]

그래프 합성곱 네트워크

그래프 합성곱 네트워크는 그래프 데이터를 위한 신경망이다.

그래프는 방향성이 있거나 없는 edge로 연결된 node의 집합이다.

그래프 신경망

그래프 신경망(Graph Neural Network, GNN)은 그래프 구조에서 사용하는 신경망이다.

1단계) 인접 행렬

• 노드 n개를 nxn 행렬로 표현한다. (인접 행렬)
• 입접 행렬 내의 값은 i와 j의 관련성 여부를 만족하는 값으로 채워준다.

2단계) 특성 행렬

인접 행렬만으로는 특성을 파악하기 어렵기 때문에 단위 행렬을 적용한다.

• 각 입력 데이터에서 이용할 특성을 선택한다.
• 특성 행렬에서 각 행은 선택된 특성에 대해 각 노드가 갖는 값을 의미한다.

그래프 합성곱 네트워크

그래프 합성곱 네트워크(Graph Convolutional Network, GCN)는 이미지에 대한 합성곱을 그래프 데이터로 확장한 알고리즘이다.

---

출처

• 딥러닝 파이토치 교과서
• https://wikidocs.net/80437
• https://yjjo.tistory.com/8
• https://bigpy.oopy.io/fc61bdd7-7c47-4b6c-a2bb-43c4edc19707