미분 (Derivative)

미분은 한 점에서의 기울기

• $\Delta x$를 점점 0 에 가깝게해서 순간의 변화량을 측정하고자 하는것이 더 구체적인 목표

$\hat y = a + b X$ : $\alpha$는 y-절편 (y-intercept), $\beta$는 기울기 (slope)

편미분 (Partial Derivative)

파라미터가 2개 이상인 Error 함수에서 우선 1개의 파라미터에 대해서만 미분을 하자 라는 목적으로 다른 변수들을 상수 취급 하는 방법

$f(x,y) = x^2 + 2xy + y^2$
${ {\partial f(x,y)} \over {\partial x} } = {{\partial {(x^2 + 2xy + y^2)} } \over {\partial x}} = 2x + 2y$
y는 상수로 취급하고 x를 기준으로만 미분하거나 반대로 x를 상수 취급하고 y를 기준으로 미분하는 것이 편미분

Chain Rule

Chain Rule이란 함수의 함수를 미분하기 위해 사용하는 방식

$F(x) = f(g(x))$
$F'(x)$ $\rightarrow$ $f'((g(x)) \cdot g'(x)$

예제

$F(x) = (2x^3 + 7)^6$ 를 x에 대해 미분하려는 경우
$f(x) = x^6, g(x) = 2x^3 + 7$로 설정
$F'(x) = 6(2x^3 + 7)^5 \cdot 6x^2$