(선형대 기초)미분

기초 미분

미분법칙

• 합의법칙 $(f(x)+g(x))\prime = f\prime(x)+g\prime(x)$

• 곱의법칙 $(f(x)g(x))\prime = f\prime(x)g(x)+f(x)g\prime(x)$

• 연쇄법칙 $(f(g(x)))\prime = f\prime(g(x))g\prime(x)$

• 몫의 법칙 $({f(x)\over g(x)})\prime = {f\prime(x)g(x) -f(x)g\prime(x)\over g^2(x)}$

• $y = e^x \to y\prime = e^x$

편미분 $\partial$(round)

여러 변수들 중 하나에 대해서 미분하고, 나머지는 상수로 취급
${\partial f \over \partial x} (x,y,...)$

x에 대한 편미분을 구하면 다음과 같다.
y는 상수처럼 취급해서, y의 제곱은 상수니깐 0이 되고 x의 제곱은 2x가 되고 xy에서 y는 상수취급이 되어 y만 남게 되어 다음과 같이 된다.

이를 기반으로

$z$를 $x$에 대해 편미분하게 되면 $(x+y)$를 우선 $w$로 치환하면 $z=w^2$, $w=(x+y)$ 두가지를 얻을 수 있다.
${\partial z \over \partial w} = 2w$
${\partial w \over \partial x} = 1$

를 구할 수 있다.

---

$x + f'(x) < x$ 는 $x$가 왼쪽으로 이동해서 값이 증가
( ※ $x$ + (-미분값) = $x$ 보다 작으므로 왼쪽으로 이동하는데 미분값이 음수이므로 함수값은 증가 라는 뜻 )

$x + f'(x) > x$ 는 $x$가 오른쪽으로 이동해서 값이 증가

$x - f'(x) < x$ 는 $x$가 왼쪽으로 이동해서 값이 감소

$x - f'(x) > x$ 는 $x$가 오른쪽으로 이동해서 값이 감소

결론

• 미분값을 더해주면 함수값을 최대화 (Gradient Ascent)
• 미분값을 빼주면 함수값을 최소화 (Gradient Descent)