Deep Learning #05 Backpropagation

Review : Gradient Descent Parameter Update

손실 함수의 기울기 방향으로 파라미터 업데이트하는 알고리즘

• 문제점 : 은닉층이 여러 개일 때 미분 불가
  (모델의 크기가 커지면 계산량 매우 커짐)

1. Backpropagation 개요

신경망 학습에서 오차를 입력층(Input layer)으로 전달하여
각 가중치의 기여도를 계산하고 업데이트하는 알고리즘

역전파의 필요성

• 은닉층이 여러 개인 신경망은 단순한 방법으로 학습 불가능
• 출력의 오차만으로 가중치를 직접 조정할 수 없음
• 효율적인 Gradient 계산 필요

역전파의 목적

: 기울기를 효과적으로 계산하고 업데이트하는 방법 제공

2. Backpropagation Algorithm

Step1. Feedforward(순전파) 수행

입력에서 출력까지 모든 활성화 값을 계산하고 저장

Step2. 델타 계산(오차 계산)

예측값과 실제값 사이의 오차를 비용 함수로 계산

3.1) Output layer에 대해 계산
3.2) Hidden layer에 대해 계산

Step3. Gradient Descent Backpropagation

출력층에서 입력층으로 오차의 그래디언트를 전파
(체인룰, Delta Representation을 이용하여 비용 함수에 대해 미분)

Step4. 가중치 업데이트

계산된 그래디언트를 사용하여 가중치를 업데이트

4.1) Output layer에 대해 계산
4.2) Hidden layer에 대해 계산

---

Chain Rule

복잡한 함수의 도함수를 계산할 때 사용하는 미분 법칙
복합 함수 $z=f(g(x))$ 의 경우, 다음과 같이 표현됨

딥러닝에서의 Chain Rule 사용 방법

---

Activation Function의 미분

3. Backpropagation Example

Step1. Feedforward(순전파) 수행

Step2. 델타 계산(오차 계산)

Step3. Gradient Descent Backpropagation

Step4. 가중치 업데이트