2. Review: Scalar derivative rules

다음의 main scalar derivative rules 를 기억하기 바란다.
아래의 수식들이 너무 생소하거나 이해가 어렵다면 Khan Academy-scalar derivative course코스를 참고하기 바란다.

이외의 다른 rules는 Khan Academy differential-calculus를 참고하기 바란다.

어떤 함수가 하나의 파라미터만 가지고 있다고 하자. 그렇다면 그 함수를 다음과 같이 나타낼 수 있다.

$f(x)$

이 때, $f(x)$의 도함수, $\frac{d}{dx}f(x)$로서 $f'$혹은 $f'(x)$ 를 본 적이 있을 것이다.
하지만, 이러한 notation은 미분할 변수를 명확하게 표시하지 않으므로 이러한 수식을 사용하지 않을 것이다. => ($f'$혹은 $f'(x)$ 사용 X)

$\frac{d}{dx}$는 하나의 변수를 다른 함수에 매핑하는 연산자(operator)이다.
즉, $\frac{d}{dx}f(x)$는 f(x)를 x에 대해 미분한다는 뜻이다. 이것을 다시 써보면 $\frac{df(x)}{dx}$라고 나타낼 수 있다.

또한, $y = f(x)$이면, $\frac{dy}{dx} = \frac{df(x)}{dx} = \frac{d}{dx}f(x)$ 이다.

미분을 연산자(operator)라고 생각하면 미분을 단순화시키는데 도움이 된다.
예를 들어, 다음 방정식에서 상수 9와 함수를 따로 계산하는 것이 수월하다.

이렇게 하면 $9(x+x^2)$을 미분하는 과정을 훨씬 단순화할 수 있다.

Reference

• The Matrix Calculus You Need For Deep Learning