연쇄법칙이란?

연쇄법칙?

연쇄법칙(chain rule)이란 합성 함수의 미분에 대한 성질 이다.
합성 함수?? 함성 함수는 여러 함수로 구성된 함수다.
예를 들어 z = $(x+y)^2$는 아래 처럼 두 개의 식으로 구성된다.

연쇄법칙의 원리는 다음과 같다.

합성 함수의 미분은 합성 함수를 구성하는 각 함수의 미분의 곱으로 나타낼 수 있다.

예를 들어 $\delta{z} \over \delta{x}$는 다음과 같이 나타낼 수 있다.

연쇄법칙을 사용하면, 국소적 미분(편미분)으로 복잡한 계산을 구할 수 있다.

연쇄법칙과 계산그래프

연쇄법칙 계산을 계산 그래프로 나타내면 아래와 같다.

즉 위와 같이 $\delta{z} \over \delta{x}$ = $\delta{z} \over \delta{z}$ $\delta{z} \over \delta{t}$ $\delta{t} \over \delta{x}$ 가 성립이 된다. 따라서 역전파가 하는 일은 연쇄 법칙의 원리와 가다는 것을 알 수 있다.

참고

• 밑바닥부터 시작하는 딥러닝