딥러닝의 기본 개념: 시작과 XOR 문제 [08-1]

딥러닝은 새로운 보델의 개념이 아니라 신경망이 발전한 모델이다.

뉴런의 작동 방법

Input Signal(x), weight(w)의 곱으로 신호가 들어와 sigma가 진행된다.
통과하면서 bias(b)가 더해진다고 할 때,
Wx+b가 특정 값 이상일 때, 특정 기능이 활성화가 되고 특정 기능이 비활성화 된다

이를 실제로 구현한 것이 Activation Functions이다.

Activation Functions

어떤 신호가 뉴런으로 들어온다(x0)
어떤 값이 곱해지고 (w0), 곱한 결과가 더해져 (w0x0), 결과에 bias(b)를 더한다.
bias를 더한 값이 특정기준값 이상이 된다면(Activation Functions),
다른 곳으로 신호를 1 또는 0을 보낸다(output axon).

XOR

XOR문제는 어떻게 해도 linear하게 해결 할 수 없었다.

Perceptron(퍼셉트론)

MIT의 Marvin Minsky가 XOR문제를 수학적인 방법으로 풀 수 없다고 증명하는 책을 낸다.

Backpropagation(역전파)

그러던 중 1980년대에 Backpropagation방법으로 XOR문제를 해결 할 수 있었다.