Backpropagation

Gradient Descent에 기반한 학습 진행시, weights와 biases 값들을 반복적으로 변화시켜 목적 함수가 최소가 되도록 한다. 역전파(Backpropagation)가 가중치와 편향 값을 조절할 때, '어떻게'의 역할을 맡는다. 역전파는 출력 layer부터 역방향으로 순차적으로 Chain Rule을 이용한 편미분을 수행해가면서 가중치와 편향 값을 갱신시킨다는 뜻이다.

학습 진행시, 먼저 feed forward 과정을 거쳐 입력이 최종 출력까지 전달되고, 최종 출력단에서 error를 구한다. 다음 backpropagation 단계에서 최종단에서 구한 기대 출력과 실제 출력간의 차(에러)를 역방향으로 전파시키며 가중치와 편향 값을 갱신한다.

Reference

• https://m.blog.naver.com/PostView.nhn?isHttpsRedirect=true&blogId=laonple&logNo=220507299181