Linear Layer의 역전파 수식 알아보기

seokj·2023년 2월 11일

참고 자료:
http://cs231n.stanford.edu/handouts/linear-backprop.pdf

순전파

\text{Y}=\text{output} \quad \text{X}=\text{input} \quad \text{W}=\text{weight} \\ \text{Y}=\text{XW}

$\text{Y, X, W}$ 는 모두 행렬이다. $\text{W}$ 가 학습되는 파라미터이다. $\text{X}$ 로부터 들어온 입력값으로 $\text{W}$ 를 행렬곱 하고 $\text{Y}$ 로 출력한다. $\text{Y}$ 는 다음 레이어의 입력으로 들어가고, 마지막에는 $\text{Y}$ 를 통해 loss값인 $l$ 을 구할 수 있다.

역전파

$l$ 이 구해지고 뒷 레이어부터 그래디언트가 차례대로 구해졌을 것으로 가정한다. 즉 $\frac{\partial l}{\partial \text{Y}}$ 를 알고 있다. 이 상황에서 해야할 일은 다음과 같다.

$\frac{\partial l}{\partial \text{X}}$ 를 구해 앞 레이어로 전달.
$\frac{\partial l}{\partial \text{W}}$ 를 구해 현재 레이어의 파라미터인 $\text{W}$ 를 업데이트

\text{Y}= \begin{bmatrix} y_{11} & y_{12} & \cdots & y_{1m} \\ y_{21} & y_{22} & \cdots & y_{2m} \\ \vdots & \vdots & \ddots\\ y_{n1} & y_{n2} & & y_{nm} \\ \end{bmatrix} \quad \text{X}= \begin{bmatrix} x_{11} & x_{12} & \cdots & x_{1d} \\ x_{21} & x_{22} & \cdots & x_{2d} \\ \vdots & \vdots & \ddots\\ x_{n1} & x_{n2} & & x_{nd} \\ \end{bmatrix} \quad \text{W}= \begin{bmatrix} w_{11} & w_{12} & \cdots & w_{1m} \\ w_{21} & w_{22} & \cdots & w_{2m} \\ \vdots & \vdots & \ddots\\ w_{d1} & w_{d2} & & w_{dm} \\ \end{bmatrix}

라고 하자. 그러면 구하고자 하는 것은

\frac{\partial l}{\partial \text{X}}= \begin{bmatrix} \frac{\partial l}{\partial x_{11}} & \frac{\partial l}{\partial x_{21}} & \cdots & \frac{\partial l}{\partial x_{n1}} \\ \frac{\partial l}{\partial x_{12}} & \frac{\partial l}{\partial x_{22}} & \cdots & \frac{\partial l}{\partial x_{n2}} \\ \vdots & \vdots & \ddots\\ \frac{\partial l}{\partial x_{1m}} & \frac{\partial l}{\partial x_{2m}} & & \frac{\partial l}{\partial x_{nm}} \\ \end{bmatrix}

이다. 항목 하나씩 구해보는 거로 생각해보자.

\frac{\partial l}{\partial x_{11}}=\sum_{i=1}^{n}\sum_{j=1}^m \frac{\partial l}{\partial y_{ij}} \frac{\partial y_{ij}}{\partial x_{11}}

이다. 편미분의 정의에 의해 $x_{11}$ 에 의해 $\text{Y}$ 가 변화하고, $\text{Y}$ 의 각각의 값의 변화량이 $l$ 에 영향을 미치므로 위와 같이 합으로 나타낸다. $\frac{\partial l}{\partial y_{ij}}$ 는 이미 주어진 $\frac{\partial l}{\partial \text{Y}}$ 로 알 수 있고 $\frac{\partial y_{ij}}{\partial x_{11}}$ 는 $\text{Y}=\text{XW}$ 식에서 $y_{ij}$ 로 구할 수 있다.