[딥러닝수학] 미적분_2

book title : 딥러닝을 위한 수학
pages : 71 ~ 77
key concepts :

• 미분의 선형성, 다항식

  • $f(x)$와 $g(x)$가 $x$의 함수이고 실수 $p$와 $q$가 있다고 가정할 때,
  • $(p \cdot f(x) + q \cdot g(x))' = p \cdot f'(x) + q \cdot g'(x)$
  • 위의 식이 성립하고 이것을 선형성이라고 한다.
  • 그런데 이 성질이 다항식의 미분에서 공식을 유도할 때 요긴하게 쓰이는 것 같다.
  • 간단하게 what to take away?
    • $f(x) = a_nx^n$이면 $f'(x) = na_nx^{n-1}$로 할 수 있다.

• $x^r$의 미분

  • h를 0으로 보내는 근사식을 통해서 이 또한 위에 쓴 식처럼 나옴을 확인할 수 있다.
    

• 곱의 미분

  • 여태까지는 $x$에 대한 여러 항이 있는 다항식을 위처럼 하나하나씩 따로따로 미분할 수 있었다면,
  • $x$에 대한 함수 두 개가 곱해진 형태라면 좀 달라진다.
  • 어떤 예가 있을까?
  • 아마도 하나의 인풋에 대해 다른 식을 거쳐서 함께 곱해지는 게... LSTM에서 cell state 업데이트할 때...?(sigmoid를 거친 input gate 값과 tanh layer를 거친 gate gate(?)의 값을 서로 곱해주는...)
  • 핵심적인 공식은
    • $(f(x)g(x))'= f'(x)g(x) + g'(x)f(x)$
    • 두 개를 곱한 함수에서 하나의 미분함수와 다른 것의 일반함수를 곱하고 vice versa로 해준다음 더해준다.

회고

그나저나 고등학교 때 안해봐서 그런지 어쩌면 제일 가벼운(?) 주제인 미분에 너무 묶여있진 않나 싶다...
그래도 차근차근 하다 보면 저 끝까지 가게 될 테니까 :) 제일 느리다고 생각돼도 공부의 정도는 차근차근 하나씩 이해하며 밟아가는 것...!