1. Classic Network

(1) LeNet - 5

LeNet - 5 신경망의 목적은 흑백으로 된 손글씨글 인식하는 것이기 때문에 맨 처음 입력이미지의 채널 수가 1개 이다.

(2) AlexNet

LeNet보다 훨씬 큰 크기를 가지는 특징이 있다.
LeNet하고 구별되는 특성은 AlexNet 신경망은 ReLu 함수를 이용한다는 것이다.

(3) VGG-16

숫자 16이 의미하는 것은 16개의 가중치를 가진 층이 있다는것이다.
매우 큰 네트워크지만, 구조적으로 균일하다는 장점이 있다. 몇개의 합성곱층 뒤에 풀링층으로 높이와 너비를 줄여주는 과정이 반복된다.

3개의 고전 네트워크 관련 논문을 읽고 싶다면, AlexNet -> VGG -> LeNet 순서로 보는걸 추천한다.

2. Residual Network (ResNet)

ResNet이 잘 작동하는 주된 이유는 추가된 층이 항등함수를 학습하기 용이하기 때문이다.