[딥러닝수학] 편미분, 전미분

book title : 딥러닝을 위한 수학
pages : 114 ~ 117
key concepts :

• 합성함수가 있을 때 전미분과 편미분 공식(성질)을 통해서 다변수 입력 변수들의 변화에 전체 출력의 변화가 어떻게 이루어지는지 식으로서 나타내보았다.

  • 중간변수 u가 벡터인 경우($\mathbf{u}$)

    • 결과적으로 중간변수 $\mathbf{u}$도 편미분이 되기 때문에 $d$ 대신 $\partial$을 쓴다.
    • $dL = \frac{\partial{L}}{\partial{u_1}}du_1 + \frac{\partial{L}}{\partial{u_2}}du_2$
    • 그런데 $du_1, du_2$도 입력 변수가 다변수이면 편미분으로 쪼개어진다.

  • 중간변수 u가 스칼라인 경우($u$)

    • 이 경우엔 중간변수에 대해서 편미분 기호가 쓰이지 않는다.($u$는 1변수니까)
    • $dL = \frac{dL}{du}\cdot du$
    • 그리고 $du$는 입력변수가 $x_1, x_2, x_3$ 같이 다변수 이면 역시 편미분으로 쪼개질 수 있다.

    
    

이번 책을 통해서 미분, 편미분 등의 개념을 두번째로 익히는 것이다. 위의 논리는 더 깊은 증명들이 선행되어야 하는 것이지만, 일단 저 정도로도 딥러닝 backpropagatoin 알고리즘에서 많이 쓰이는 미분 수식을 어느 정도 많이 이해하게 된 느낌이라 뿌듯하다.
배움엔 끝이 없다. 이 순간을 즐기고 그 즐거운 순간에 감사하며 하루하루 채워가자. 그러면 단순히 앞으로 나아가기만을 추구하는 배움이 아니라 삶을 풍요롭게 하는 배움이 될 것이다.