시작

뉴런의 작동 방식처럼 투입값이 가중치에 곱해져서 들어오고 bias가 더해져서 전달
activation function에서 일정값 이상이면 활성화/ 미만이면 비활성화

XOR 문제

기계가 linear 한 상태로서는 xor 문제를 완벽히 구분하는 것이 불가능

minsky(Perceptrons - 1969)
MLP(multi-layer-perceptrons)로는 가능할 것이다. 그러나 그 당시 기술로는 학습이 불가능.

Pual Werbos , Hinton (BackPropagation- 1982, 1986)

Convolutional Neural Network

• 한 개의 문자를 부분부분을 보내고 나중에 합치는 방식

Big Problem

• layer가 많아지게 되면 Backpropagation이 작동하지 않는 경우가 많아짐
• 신경망보다 SVM, Random Forest가 더 잘 작동하기도 함

Breakthrough (2006, 2007)

• 초기 w값만 잘 주어지면 문제를 해결할 수 있다.
• 딥러닝으로 이름이 바뀜