Multi Layer Perceptron [08-2]

Multy Layer Perceptron(다중 퍼셉트론)

Multy Layer Perceptron
1개 이상의 층을 갖는 구조를 말한다.
XOR문제를 해결하기 위해서는 Multy Layer Perceptron이 필요하다

Backpropagation(오차역전파)
출력값에 대한 입력값의 기울기(미분값)을 출력층 layer에서 부터 계산해서 거꾸로 전파시키는 것이다. 거꾸로 전파시켜서 최종적으로 출력층에서의 output값에 대한 입력층에서의 input data의 기울기 값을 구할 수 있다. 이 과정에서 chain rule이 이용된다.

chain rule
함수 f, g가 있을 때
f와 g가 모두 미분 가능하고
F = f(g(x)) = =f∘g로 정의된 합성 함수이면 F는 미분 가능하다.
이때 F'(x) = f'(g(x)) 이다.
t=g(x)라고 하면,
가 성립한다.
x가 변화했을 때 함수 g가 얼마나 변하는지, 함수 g의 변화로 인해 함수 f가 얼마나 변하는 지, 함수 f의 인자가 함수 g이면 최종 값 F의 변화량에 기여하는 각 함수 f와 g의 기여도를 알 수 있다.