[AI Bootcamp] N114 - Basic Derivative

Session Review

Derivative

미분: 함수를 작게 나누는 것

for what?
$\Delta x$를 점점 0에 가깝게 해서, 순간의 변화량 측정하는 것이 목표

in Data Science

주어진 데이터 X를 넣었을 때 모델이 예측하는 예측값과 실제값 간의 차이를 계산한 다음, 여러 모델 중 가장 Error가 작은 가장 좋은 모델을 선택한다.

이 때, 오차함수를 최소화하는 y절편과 기울기를 구하기 위해 미분 사용

• Power Rule
  대표적인 미분법
• 지수함수:
  $f(x) = e^x$ $\rightarrow$ $f'(x) = e^x$ 도함수 역시 지수함수
• 자연로그:
  $f(x) = lnx$ $\rightarrow$ $f'(x) = {{1} \over {x}}$

도함수 구하는 방법

• Numerical Method: 직접 미분해서 사용자 정의 함수 지정
• scipy의 derivative 활용

from scipy.misc import derivative
def f(x):
	return ~~
    
derivative(f, 적용 대상, dx= ~~) 

Partial Derivative

변수가 여러 개일 경우, 일단 하나의 변수에 집중하여 나머지를 상수로 취급한 후 차례로 미분하는 것

in Data Science

파라미터가 2개 이상인 Error 함수에서 우선 1개의 파라미터에 대해서만 미분을 하자는 목적으로 다른 변수들을 상수 취급하는 방법

Chain Rule

함수 내 함수를 미분하기 위해 사용하는 방식 = 합성함수
바깥 함수 미분 후, 안에 있는 함수 미분

Gradient Descent

오차함수 최소화하는 a,b 찾을 수 있는 최적화 알고리즘 중 하나. 기울기의 반대방향으로 이동
❗️ learning rate(학습률) 중요 -> 학습률 크기에 따라 수렴 시간이 너무 길어질수도 있고, 극소값 지나쳐서 알고리즘이 수렴하지 못하고 계산이 반복될 수도 있음

Assignment

column 추출 하는 방법
❓Apply 함수 찾아보기