1D CNN에서 수식으로 이해하는 Backpropagation

본 글은 1D CNN에서 수식을 기반으로 한 backpropagation 과정을 간단한 예제를 포함합니다.

1. 간단한 1D CNN 모델

구성

• 입력: $x = [x_1, x_2, x_3]$ (1채널, 길이 3)
• 커널: $w = [w_1, w_2]$, bias: $b$
• 출력: $z = w_1 x_1 + w_2 x_2 + b$
• 활성화 함수: ReLU
• 손실 함수: MSE (Mean Squared Error)
• 타겟: $y$

---

2. 순전파 (Forward pass)

Conv1D + Bias

입력:
$x = [x_1, x_2]$,
가중치: $w = [w_1, w_2]$,
바이어스: $b$

Convolution 결과 (합성곱):

ReLU

출력층 (간단히 선형):

---

3. 손실 함수 (MSE)

---

4. 역전파 (Backpropagation)

Step 1: 손실 w.r.t 출력

Step 2: 출력 w.r.t ReLU

Step 3: ReLU w.r.t 합성곱 결과 $z$

Step 4: 합성곱 결과 w.r.t 가중치, 입력, 바이어스

• $\frac{\partial z}{\partial w_1} = x_1$
• $\frac{\partial z}{\partial w_2} = x_2$
• $\frac{\partial z}{\partial b} = 1$
• $\frac{\partial z}{\partial x_1} = w_1$
• $\frac{\partial z}{\partial x_2} = w_2$

따라서:

• $\frac{\partial \mathcal{L}}{\partial w_1} = \frac{\partial \mathcal{L}}{\partial z} \cdot x_1$
• $\frac{\partial \mathcal{L}}{\partial w_2} = \frac{\partial \mathcal{L}}{\partial z} \cdot x_2$
• $\frac{\partial \mathcal{L}}{\partial b} = \frac{\partial \mathcal{L}}{\partial z}$

---

5. 한 줄 정리

이렇게 **체인 룰(chain rule)**을 통해 각 단계별로 미분값을 곱하면서 손실에 대한 가중치의 그래디언트를 구하고, 그걸로 가중치를 업데이트합니다.