Ultimate dream: thinking machine

• 뉴런이라는 유닛이 단순하게 동작됨
• 단순한 동작이 어떻게 인간이 생각할 수 있게 되는걸까
• 인풋에 웨이트의양을 곱해주고(신호를 주고) 그 이후에 다 합해져서 Sum이 이뤄짐
• 그 다음 바이어스를 더해서 통과가 됨
• 더해준 값이 특정 값 이상이되면 활성화(activate)되고 특정 값에 미치지 못하면 활성화가 되지 않음
  

수학적으로 만든 뉴런

• activation function을 통해 출력함

AND/OR problem: linearly sperable?

• 기계에 x1, x2를 줬을때 예측값 Y를 만들어 낼 수 있을까?가 중요한 문제
• 선형 모델로 and, or gate로 가능은 했음
• 하지만, XOR 문제는 선형 모델로 구분할 수 있나?
  

Perceptrons

• xor 문제는 한개가 아닌 여러개를 합쳐서 사용함 => Multi layer perceptron
• 각각의 가중치와 바이어스를 학습시킬수가 없다?

그래서 backpropagation 알고리즘이 생겨남

• error를 뒤로 전달해 가면서 각각을 재현시키는 것

Convolutional Neural Networks

• 부분을 잘라서 나중에 합치는 방법

A big problem

• backpropagation이 다층 레이어에서 작동되지 않음
• 다른 머신러닝 알고리즘 생겨남(SVM, randomforest)

ImageNet classification

• 이미지를 분류할 뿐 아니라 이미지를 설명까지 함