딥러닝은 다층 퍼셉트론에 은닉층을 여러개 추가하면 딥 뉴럴 네트워크(깊은 신경망)이 됩니다.
이를 학습시키는 방법이 심층학습입니다.
결국 딥러닝이라는 것은 깊은 신경망을 학습시킬 수 있는 방법입니다.
심층학습 (Deep Learning)
이전의 해결하지 못했던 문제들을 해결함.
다층 퍼셉트론은 1980년대에 이미 개념이 나왔지만, 실현이 불가능했다.(성능 문제, 배니싱 그래디언트 문제)
경사 소멸 - gradient vanishing 문제
로스값을 낮추기 위해 미분을 이용해서, 체인룰을 이용하여 백프로퍼게이션을 진행합니다. 야코비안까지 활용하며 미분값을 구한 것으로 경사하강법 방식으로 갱신을 합니다.
로스부터 시작해서 역전파를 레이어 하나당 전파가 되어갑니다. 시그모이드 식으로 활성함수가 생성되면 오른쪽 극단에서 값이 0이 되어버려, 그레디언트가 희미해지는 문제가 생성이 됩니다. 그러면 학습이 제대로 안됩니다. -> ReLU 등장
행렬단위를 가장 쉽게 계산할 수 있는 것이 GPU입니다.
클래시컬한 머신러닝들은 특징을 사람이 직접 추출했지만, 딥러닝의 형태에서 은닉층이 특징을 추출하는 역할을 맡습니다.
학습에 의해 자동적으로 데이터로부터 특징을 추출합니다 <- 표현 학습
낮은 단계의 은닉층은 선이나 모서리 같은 간단한 저급 특징을 추출하고, 높은 단계의 은닉층은 추상적인 형태의 복잡한 고급 특징을 추출합니다.
( 은닉층1 : 윤곽 -> 은닉층2 : 눈, 코, 입 -> 은닉층3 : 얼굴 )
DMLP (Deep MLP)
다층 퍼셉트론의 구조는 입력(d+1차원의 특징벡터)과 출력(c개 분류)
이는 멀티레이어 퍼셉트론과 마찬가지로, 가중치 행렬을 사용할 것이고, MLP의 동작을 나타내는 식을 보다 많은 단계로 확장한 것입니다.
DMLP 학습은 기존 MLP 학습과 유사합니다. 경사도 계산과 가중치 갱신을 여러번 할 뿐입니다.
=> CNN (합성곱 신경망)의 부상
