[논문 리뷰] ImageNet Classification with Deep Convolutional Neural Networks

Paper

ImageNet Classification with Deep Convolutional Neural Networks

개요

1. ImageNet Classification Task을 Deep Convolutional Network(cuda-convnet)을 활용하여 좋은 성능을 달성함.
2. tanh, sigmoid 대신 ReLU를 activation으로 사용함.(non-saturating neuron model)
3. Local Response Normalization을 통해 layer output을 normalize함 - kernel normalization
4. Overlapping pooling을 적용함
5. Data augmentation 1- 이미지 데이터를 다양하게 잘라내어 사용하거나 방향을 바꿔가면서 데이터 갯수를 10배로 증가시킴
6. Data augmentation 2 - 각 픽셀에 RGB에 대한 PCA * Random Value 값들을 더해가며 데이터 갯수를 증가시킴
7. Dropout을 적용하여 overfitting을 방지함.(cuda-convnet에서는 pseudo dropout을 사용하는데, 모든 layeroutput에 0.5를 곱함)

느낀점

전공수업에서 배운 내용들이 많이 등장하여 논문을 이해하는데 큰 어려움이 없었다. 다만, 이때는 pytorch와 같은 ML framework가 쓰이지 않아서 cuda-convnet 코드들이 CUDA 프로그래밍으로 구현되어 있다. 이것을 pytorch으로 재구현 하는 것도 재밌을 것 같다는 생각이 든다.