Convolution의 정의, convolution 연산 방법과 기능, 기본적인 CNN 구조
Convolution(합성곱)
2D convolution : convolution filter 모양에 따라 이미지 변환 등
RGB image convolution
5x5x3 filter * 32x32x3 image = 28x28x1 feature
convolutional neural networks
parameter의 숫자가 적을 수록 학습이 쉽고 generalization performance가 높음.
→ convolution layer가 깊어지지만 동시에 parameter의 수를 최소화하는 것이 CNN의 발전 방향
stride : 몇 개 건너 output하는지
padding : 양 사이드에 zero padding으로 input과 output을 같게 함
number of parameters
input = W:40 H:50 C:128
kernel = 3x3
output = W:40 H:50 C:64
number of parameters ⇒ 3 x 3 x 128 x 64 = 73,728
kernel x input channel x output channel
ex)
35K = 11 x 11 x 3 x 48 * 2
884K = 3 x 3 x 128 * 2 x 192 * 2
177M(dense layer) = 13 * 13 * 128 * 2 x 2048 * 2
convolution layer에서 dense layer로 넘어갈 때 convolution operator 각각의 커널이 모든 위치에 대해 동일하게 적용되어 parameter를 더 많이 갖게 됨
→ 뒤의 fully connected layer을 줄이고 앞의 convolution layer을 깊게 늘려야 함
1x1 convolution
이미지의 한 픽셀에 대해 dimension reduction
- reduce the number of parameters while increasing the depth
- e.g.) bottleneck architecture
출처 - 부스트캠프 AI tech 교육자료
[부스트캠프 AI Tech] Week 3 - Day 1
