1x1 Convolution

HJW·2022년 8월 17일
0

1x1 크기를 가지는 convolution filter를 사용한 convolution layer


depth=channel

1. channel 수 조절

1x1 conv filter의 수 = output의 channel 수

1x1 conv filter를 거치면(padding과 stride를 조절하였을 때) size는 바뀌지 않고 channel의 수가 줄어든다

따라서 1x1 conv를 이용하면 channel 수를 원하는 데로 설정할 수 있다

2. 연산량 감소(Efficiency)

1x1 conv를 거치게 되면 그렇지 않을 때 보다 파라미터의 수가 크게 줄어든다
-> model을 깊게 만들 수 있다

아래 그림에서 5x5 conv는 padding이 2이고, 1x1 conv는 padding을 하지 않았다

(N+2P-F)/stride+1

3. 비선형성(Nonlinearity)

1x1 conv를 추가할 때 ReLU activation을 지속적으로 사용하여 model의 비선형성을 높일 수 있다 -> 그만큼 복잡한 패턴을 더 잘 인식할 수 있게 된다

GoogLeNet의 1x1 conv, ResNet의 Bottleneck layer


reference
https://hwiyong.tistory.com/45

profile
be passionate

0개의 댓글