Normalization Layers
:Batch Normalization
- 기존의 normalization과 달리 weight update와 관계없이 일관된 input으로 node에 들어가서 노드가 혼라서워 하지 않게 함
- prameter에 γ,β를 도입하여 bias를 회복해주며 시그마 값을 일정하게 유지해준다.
- fully connected에서는 feature dim에 따라,
convolutional에서는 channel에 따라 normalization이 이루어짐 - 올라가는 계산량에 비해 적은 epoch으로 좋은 결과를 얻는 효과가 있다.
- 단점) batch_size가 작으면 평균, 분산이 부정확하다
) RNN은 같은 layer에서도 cell의 이동에 따라 다른 feature를 받음으로 통계량이 매번 다르다
Transfer Learning
딥러닝의 한계
- data가 많이 필요하고 큰 모델의 overfitting을 막으려면 generalize 할 많은 data가 필요함
- 많은 시간이 걸림
=>>transfer leaerning
- 이미 거대한 양의 data를 pretrained된 모델
imagenet: 20000개의 class, 천만여개의 data로 구성됨
필요에 따라 적절하게 모델을 설정하여 활용하면 됨
ex) Cifar10
VGG16
ResNet50
등 다양한 모델이 있음
