연쇄법칙

연쇄법칙의 기본 개념

두 함수가 있을 때, 이 합성 함수의 미분은
외부함수의 도함수를 구한 후, 내부 함수를 대입하고
마지막으로 내부 함수의 도함수를 곱해준다.

오류 역전파

인공지능신경망을 학습시키는데 중요한 알고리즘 중 하나 신경망의 출력이 목표와 얼마나 다른지(오차)를 계산하고, 이 오차를 바탕으로 각 신경망의 가중치를 업데이트하는 과정

주로 경사하강법과 결합해서 사용한다.

오류 역전파의 핵심 개념은 네트워크의 출력을 목표값과 비교한 후,
그 차이를 이용해서 가중치를 조정하는 것인데, 이 때 체인 룰을 사용하여 각 층을 거슬러 올라가며 학습을 진행한다.

오류 역전파의 과정

1. 순전파
   입력값을 네트워크에 넣고 각 층을 통과하면서 계산을 진행해 최종출력을 얻는다

2. 오차계산
   네트워크의 최종 출력값과 실제 목표값 간의 오차 계산
   보통 손실 함수를 사용하여 계산

3. 역전파
   오차를 기준으로, 체인 룰을 사용해서 각 층의 가중치가 얼마나 오차에 기여했는지 계산

4. 가중치 업데이트
   계산된 미분값을 바탕으로, 각 가중치가 얼마나 바뀌어야 하는지 결정
   이 때 경사하강법을 사용하여 가중치를 수정하며, 학습률이 얼마나 빠르게 가중치를 업데이트할지 결정한다

이 과정에 중요한 점은 신경망의 깊이에 따라 기울기 소실 문제나 기울기 폭발 문제가 발생할 수 있으며, 이를 해결하기 위해 ReLU 같은 활성화 함수가 도입되거나 배치정규화 같은 기법이 사용되기도 한다.

정리하면 오류역전파는 네트워크가 오차를 역으로 추적해 각 가중치가 오차에 얼마나 기여했는지 평가하고 이를 수정하는 알고리즘