CH.4 미분 (derivative)

• 미분의 개념과 인사이트
  
  • 입력변수 x가 미세하게 변할 때, 함수 f(x)가 얼마나 변하는지 알 수 있는 식을 구하는 것
  • 함수 f(x)는 입력 x의 미세한 변화에 얼마나 민감하게 반응하는지 알 수 있는 식을 구하는 것
• 머신러닝에서 자주 사용되는 함수의 미분 공식
  
• 편미분
  • 입력변수가 하나 이상인 다변수 함수에서, 미분하고자 하는 변수 하나를 제외한 나머지 변수들은 상수로 취급하고, 해당 변수를 미분하는 것
• Chain rule (연쇄법칙)
  • 합성함수(여러 함수로 구성된 함수)를 미분하기 위해 사용되는 방식
    
  • 합성함수를 미분할 때 분모, 분자에 동일한 변수값을 곱해주고, 각각 미분해서 최종적으로 각 함수의 미분을 곱하는 형태로 나타냄
• 수치미분
  • 수학공식을 쓰지 않고 파이썬 등을 이용하여, 주어진 입력 값이 미세하게 변할 때 함수 값 f는 얼마나 변하는지를 계산하는 것
    
  • 다변수 함수 수치미분
    
    • 입력변수가 하나 이상인 다변수 함수는 입력변수가 서로 독립적이기에 수치미분 또한 변수의 개수만큼 개별적으로 계산해야 함