[딥러닝수학] 미적분

book title : 딥러닝을 위한 수학
pages : 70
key concepts :

• 극대와 극소

  • 결론적으로 Gradient Descent의 기본 원리에 필요한 개념
  • 극대인지 극소인지는 극값의 앞뒤에서 미분한 값의 부호에 따라 다르다.
    • 즉, 올라가는 방향인지 내려가는 방향인지...
  • tanh() 같은 함수의 그래프 같이 $f'(x) = 0$인 지점이어도 극대나 극소가 아닐 수 있음(like saddle points)

• $f(X) = X^2$의 미분

  • 결국 $nx^{n-1}$인데, 이항정리에 대한 이해와 그것을 통해서 증명해봤다...
  • 덕분에 오늘 아침 공부는 여기까지만..!