딥넷트웍 학습 시키기 (backpropagation) [09-2]

Feed Forward

❔ Feed Forward
신경망은 input에서 weight와 Hidden을 거쳐 Output을 보댄다. 이과정을 Feed Forward라고 한다.

Backpropagation(역전파)

❔Backpropagation(역전파)
Feed Forward를 이용해 Input에서 Output까지 계산한다. 여기서 Output은 얻고자 하는 예측값을 의미한다.
모델의 예측값과 실제 차이(error)를 계산하고, 이 계산을 바탕으로 신경망의 Weight를 업데이트 한다.
뒤의 Weight부터 업데이트하고 후에 앞의 Weight를 업데이트 한다.
Feed Forward를 이용해 계산된 에러를 바탕으로 뒤의 Weight부터 업데이트하는 과정을 말한다.

Feed Forward와 BackPropagation을 계속 반복하면서 Weight를 업데이트하여 점차 신경망의 Output이 실제 값에 가까워 지면서 학습이 이루어 진다.

Feed Forward과정 : Input -> Hidden -> Output
Backporpagation 과정 : Output -> Error -> Hidden

Backpropagation(Chain rule)

Sigmoid