ML lec(이론) 9-2 - 딥 네트워크 학습 시키기(back propagation)

출처: 모두를 위한 딥러닝 강좌 시즌 1 by Sung Kim

---

Recap

• ML lec 9-1에서 2 개의 unit이 이어진 네트워크를 이용해서 XOR 문제를 해결할 수 있다는 것을 배웠다.
• 그런데 이 네트워크의 가중치($w$)와 편향($b$)은 어떻게 학습할 수 있을까?

신경망에서의 미분값 도출의 어려움

• 경사하강법 알고리즘을 이용해 가중치($w$)를 조정하기 위해서는 미분이 필요한데, 신경망에서는 계산량이 너무 많아서 미분값을 구하기 어렵다.
• 이 문제는 Paul, 그리고 그 이후 Hinton에 의해 Back propagation으로 해결할 수 있음이 증명되었다.

Back Propagation(역전파)

이 알고리즘은 실제 값과 예측값을 비교하여 도출되는 오류(cost)를 뒤에서부터 앞으로 쭉 돌려서 미분값을 계산한다.

미분의 chain rule

• 위와 같이, chain rule을 이용하면 미분값을 간단히 구할 수 있다.

• 위와 같이, 신경망이 여러 층으로 구성되어 있다고 하더라도 Chain rule을 이용해서 Back Propagation 방식으로 뒤에서부터 차례대로 미분값을 구해나갈 수 있다.

Sigmoid의 미분

• 위처럼, 아무리 복잡한 식도 우리가 기본적인 항들을 알고 있다면 Back Propagation을 이용해서 미분값을 구할 수 있다.