미분

• sympy.diff를 사용해 컴퓨터로 미분을 계산할 수 있다.

import sympy as sym
from sympy.abc import x

sym.diff(sym.poly(x**2 + 2*x + 3), x)

# result : Poly(2*x + 2, x, domain='ZZ')

그래프상에서의 미분

• 미분은 함수 f위의 한 점 (x, f(x)) 에서의 접선의 기울기
  

• 이때 h->0 으로 이동하면 접선

• 한 점에서 접선의 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가/감소 하는지 알 수 있다.

  • 해당 점에서의 미분값을 더한다 : 함수값 증가
  • 해당 점에서의 미분값을 뺀다 : 함수값 감소

Gradient Ascent

• 그래프의 경사를 올라간다 -> 미분값을 더한다

Gradient Descent

• 그래프의 경사를 내려간다 -> 미분값을 뺀다

두 경우 모두 극값에 도달하면 움직임을 멈춘다.