직접 수작업으로 은닉층을 구성해서 cnn을 구성하는 방법도 있지만 오늘은 대표 cnn아키텍처 몇개를 가져왔습니다.
Alexnet
2012년 ILSVRC에서 우승한 고전적인 합성곱 신경망 아키텍쳐이다. 고전적이여서 요즘은 잘 쓰이지가 않지만 딥러닝 발전과 이미지 인식 분야에 큰 영향을 미쳤으며, 다양한 CNN아키텍처의 기반으로 사용되었다.
alexnet은 총 8개의 계층으로 구성되어 있으며 그중 5개는 convolution 층, 3개는 fully connected layer로 이루어져 있습니다. 각각 이미지의 특징을 추출하고, 추출된 이미지의 특징을 이용하여 이미지를 분류합니다.
활성화 함수로 relu를 사용하고 max pooling을 사용합니다.
11*11 크기로 stride가 4인 96개의 필터를 사용합니다.
VGGNet
vggnet은 convolution layer과 pooling layer를 깊에 쌓은 구조로 간단하면서도 효능이 좋은 아키텍처로 사용됩니다.
입력레이어는 입력 이미지의 크기를 일정하게 유지하기 위해 244*244 크기의 RGB이미지로 구성됩니다.
convolutional layer는 3*3크기의 필터로 구성되어 있고 이 레이어들은 이미지의 특징을 추출하는 역할을 합니다. 이 레이어가 쌓은 개수에 따라서 VGG16, VGG19라고 불립니다.
pooling layer는 다운샘플링하여 공간 차원을 줄이고 vgg에서는 최대 풀링을 사용하며, 2*2크기의 풀링 윈도우와 stride=2인 필터를 사용합니다.
매우 많은 메모리를 이용하여 연산한다는 단점이 있습니다.
GooLeNet
2014년에 개발된 아키텍처로 구글 연구팀이 개발한 것으로 알려져 있습니다.
위 사진을 보면 알 수 있듯이 다양한 크기의 커널과 풀링 연산을 병렬로 수행하는 구조로 네트워크의 깊이와 너비를 증가시키면서도 연산 비용을 상대적으로 낮추는 효과가 있다.
모델깊이가 깊은 특징을 가지고 있어서 중간에 Auxiliary classifier라는 보조 분류기를 추가하여 그래디언트 소실 문제를 완화시킵니다. 보조 분류기는 중간에서 분류를 수행하며 네트워크 학습에 도움이 되는 추가적인 그래디언트 신호를 제공한다.
아키텍처 비교
각 모델의 성능을 비교하기위해 busi data set를 이용하였다. BUSI셋은 유방암 초음파 영상으로 구성된 학습용 공개 데이터셋이다. 모델은 총 6개를 사용했다.
유방암 데이터셋에서는 vgg계열이 대체로 좋은 성능올 보였다. 이 데이터셋은 의료기반분야로 쓰이는것이고 널리 쓰이는 일반 영상에서 높은 성능을 보이는 inceptionnet과 efficient모델이 전문분야에서는 가장 낮은 성능을 보였다. 이 연구에서는 아키텍처들이 무조건 깊이가 깊다고 월등한 성능을 보이는 것이 아니며 일반 영상과 다르게 특수분야에서는 성능이 다르게 나타낼 수 있다는것을 알 수 있었다.
출처
Krizhevsky, A., Sutskever, I., & Hinton, G. E. (2012). Imagenet classification with deep convolutional neural networks. Advances in neural information processing systems
VGGNet을 활용한 석재분류 인공지능 알고리즘 구현
Implementation of the Stone Classification with AI Algorithm Based on VGGNet Neural Networks 최경남 /KyungNamChoi 원광대학교
https://deep-learning-study.tistory.com/389 GoogLeNet 논문리뷰(사진 출처)
Comparison of deep convolutional neural networks for classification of
breast ultrasound images
깊은 합성곱 신경망 모델에 따른 유방 초음파 영상 분류 성능 비교
Juyoung Park⋅Yisak Kim⋅Chang-Wan Ryu⋅Hyungsuk Kim
