Transposed Convolution

Convolution

💡 Convolution이란?
하나의 함수와 또 다른 함수를 반전 이동한 값을 곱한 다음, 구간에 대해 적분하여 새로운 함수를 구하는 수학 연산자이다.

정의는 어렵지만 그림으로 보면 쉽게 이해할 수 있는데,

filter의 가중치 값들을 input image 해당 부분의 픽셀과 하나씩 곱해 더하는 합성곱의 과정이다. 즉, 0＊1 + 0＊1 + 0＊1 + 1＊0 + 1＊0 + 1＊0 + 1＊(-1) + 1＊(-1) + 1＊(-1)을 통해 feature map의 -3이라는 결과값이 도출된 것이다.

Transposed Convolution

이러한 Convolution 연산을 역순으로 진행하는 것이 Transposed Convolution이다.

💡 Transposed Convolution이란?
Convolution의 역순으로 input feature로부터 output pixel을 연산하는 과정

Transposed Convolution 연산을 수행하면 작아진 feature map 사이즈를 복원할 수 있다. 사이즈를 늘리는 방법으로는 Upsampling과 같은 방법도 존재하지만 학습을 하는 것이 아니라는 단점이 있다. Convolution이 학습을 통해 feature 사이즈를 줄이고 Max Pooling은 단순히 feature를 뽑아내서 사이즈를 줄이는 것처럼, Upsamling은 단순히 feature를 복제하거나 의미없이 채워서 사이즈를 늘리지만 Transposed Convolution은 학습을 통해 feature를 늘릴 수 있다.

Transposed Convolution 연산 과정

Transposed Convolution의 기존 연산 과정은 그림과 같다. 각 픽셀 하나하나를 filter의 weight와 곱하는 연산을 하고, element-wise summation을 하여 output pixel값을 계산한다. 왜 'Transposed'라는 이름이 붙었는지는 Understand Transposed Convolutions 블로그를 참고하길 바란다! 영어지만 설명이 아주 자세하게 잘 되어있다👍

기존의 연산 과정은 위와 같지만, 또 다른 방법으로 input feature를 변형한 후 Convolution 연산을 사용하여 Transposed Convolution을 구현해볼 수 있다. 완전히 똑같지는 않지만 구현 과정에서 유사하다고 표현할 수 있다.

위 이미지와 같이 padding으로 feature의 사이즈를 늘리고 기존의 convolution 연산을 사용하여 output pixel을 연산하는 방법이다.

Transposed Convolution은 feature로부터 image를 추정해 나가는 연산이므로 이러한 변형으로도 구현해 볼 수 있다. 이러한 방법을 사용하면 pytorch를 통해 Transposed Convolution을 구현할 때 ConvTranspose2d 함수를 사용하지 않고 Conv2d 함수만을 사용해서 원하는 결과를 도출할 수 있다.

AutoEncoder with CNN

CNN을 이용하여 AutoEncoder를 구현할 때, Encoder에서 Convolution을 통해 latent space를 뽑아내고 Decoder에서 Transposed Convolution을 통해 input image와 동일한 사이즈를 복원한다. 이 과정에서 Encoder에서는 Conv2d가, Decoder에서는 ConvTranspose2d가 사용되는 것이 일반적이다.

하지만, 앞서 말한 것처럼 zero padding을 사용하면 Decoder 과정에서도 ConvTranspose2d 말고 Conv2d만을 사용하여 구현이 가능하다.

---

Transposed Convolution 뿌시기👊