LeNet-5은 Yann LeCun이 손으로 적힌 우편 번호를 전통적인 방법보다 효율적으로 확인하기 위해 고안된 CNN 구조이다.
전통적인 모델은 사람이 직접 만든 특징 추출기로 추출하고 분류기를 붙여 사용한다.
전통적인 방법의 한계
사람이 만든 특징 추출기는 제한된 특징만 추출한다.
너무 많은 매개변수를 포함한다.(분류기를 FC 레이어 같은 경우 엄청나게 많은 가중치를 포함한다.)
이미지는 공간적인 특징, 상관관계를 갖는데 FC레이어같은 경우에는 공간적인 정보를 이용하지 못한다.(LeNet 발표 전 활용되던 FC는 2차원 이미지를 1차원으로 펼쳐진 데이터를 입력받았다.)
Convolutional Neural Network
수용 영역 (receptive field)
커널과 겹치는 부분을 의미하며, CNN에서는 hidden unit의 수용 영역을 제한해 특징을 추출한다.
이를 이용하여 컴퓨터비전에서 했던 conner, edge등의 특징을 추출할 수 있고, 층이 깊어지면서 결합되어 더 복잡한 특징이 추출된다.
이로 인해 이동같은 변형이 가해져도 특징이 검출된다.
또한, 한 개의 커널이 전체 이미지를 돌면서 공유하기 때문에 파라미터 수를 줄일 수 있다.
sub-sampling은 현대의 pooling을 의미한다. LeNet-5에서는 average pooling을 이용한다.
이미지마다 특징이 추출된 위치가 다를 가능성이 높은데 위치 정보는 인식에 있어 성능을 떨어트릴 수 있기 때문에 위치에 대한 정확도를 감소시키기 위한 방법으로 feature map의 해상도를 감소시키는 것으로 제안하고 있다.
sub sampling에서 average를 통해 왜곡과 이동에 대한 민감도를 감소시키고 feature map의 해상도를 감소시킨다. 그리고 위치 정보를 소실시키면서 생긴 소실은 더 많은 filter를 사용하여 다양한 특징 추출로 상호보완한다고 한다.
LeNet-5 구조
