Medical Image Classification - Advanced CNNs

1. LeNet-5(1998)

Input image는 gray scale이다. 5×5 convolution과 2×2 average pooling을 사용하였다. 마지막에 fully connected layer 2개를 사용하였다.

feature map의 size는 줄고 channel수는 늘어나며 이러한 구조를 이후에 많은 모델들이 따라갔다.

2. AlexNet(2012)

Input image는 RGB이다. 11×11 convolution에서 stride를 크게 해서 feature map size를 줄여주고 3×3 max pooling을 거친다. 마지막으로 fully connected layer를 3개 사용하였다.

ReLU를 이 때부터 본격적으로 activation function으로 사용하였다.

3. VGG-16(2014)

동일하게 3×3 convolution filter를 사용하였다. 그리고 convolution 두 번, max pooling의 과정을 동일하게 반복한다. 마지막으로 fully connected layer를 2개 사용하였다.

4. ResNet(2015)

VGG-16의 layer 수가 16이지만 ResNet은 152개 까지 사용도 가능하다. ResNet의 주요한 아이디어는 residual을 학습한다는 것이다. 이를 skip connection이라 부른다.

5. Inception Network(2014)

GoogleNet이라고도 부른다. Inception module과 pooling이 계속 반복되는 구조이다. 이전 layer에 1x1 convolution을 거친 후 1×1, 3×3, 5×5 convolution을 거치는 복잡한 구조이다. 주요한 아이디어는 이전에는 convolution filter의 size를 특정 size로 정해서 모델을 구성했는데 다양한 size의 convolution filter를 모두 사용해 마지막에 concatination을 함으로 성능 향상의 효과를 보겠다는 것이다.

6. Dense Network(2017)

DenseNet은 skip connection을 앞 선 모델들 보다 더욱 dense하게 계속 쌓아가는 방식이다. 그 결과 gradient decent를 효과적으로 활용할 수 있어 결과가 좋다고 한다.