cs231n 7강 CNN

CNN
image위에서 filter로 slide하면서 내적연산 convolution 연산을 진행한다.
1filter->1activation map

32x32x3 image
5x5x3 filter
=>
28x28x3

따라서 6개의 filter=>6개의 activation maps
우리가 update하는 값들은 filter의 개수들 등....
첫번째 필터에서 그 다음 필터로 갈수록 다음과 같은 진행을 따른다.
low->middle->high
low/middle,high level features를 구분할수 있음

하얀색이 activation크다.

image사이즈와 filter사이즈가 특정값일때 output으로 나오는 사이즈를 알 수 있다.
일반화된 식은
(N-F)/stride+1
(이미지 사이즈는 N 필터사이즈는 F)

현실적으로는 zeropadding을 적용한다. 따라서 사이즈 보존이 가능.
편의성이 있다.
필터가 3일때는 패딩1
5일때는 패딩 2
7일때는 패딩 3
왜 패딩을 할까?
volume자체가 계속 수축되는 문제를 해결하기 위해서 사용한다.
downsampling은 poolinglayer에서 진행한다.

1x1 conv의 의미?
의미가 있다 파라미터수가 줄어드는등의...

pooling layer
각각의 activation map에 독립적으로 진행하며 down-sampling한다.
파라미터 weight,padding다 없음
종류 maxpooling,
FC layer

주요network 보면
LeNet-5
AlexNet(ReLU사용 data augnmentation....등등의 setting설명)
ZFNet
처음 필터를 11x11->7x7
VGGNet
average pooling을 fc대신해서 사용.
GoogleNet
이러한 위의 averagepooling을 이용한 내용.파라미터 수가 줄었음.
ResNet
layer가 일정기준 이상 많아지면 다른 net들은 error커짐 resnet은 error작아짐.