[부캠AI] 1주차 AI Math 3-4강

Yoori Chae·2021년 8월 25일

Boost Camp AI Tech 2

목록 보기

3/4

😊 경사하강법 - 순한맛

미분이란?

변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구

# sympy.diff을 사용하면 컴퓨터로 미분을 계산할 수 있다. 
import sympy as sym
from sympy.abc import x

sym.diff(sym.poly(x**2 + 2*x + 3), x)

미분으로 함수 $f$ 의 주어진 점 $(x, f(x))$ 에서의 접선의 기울기를 구할 수 있다. 이 기울기를 알면 어느 방향으로 움직여야 함수값이 증가하는지, 감소하는지 알 수 있다.

경사상승법 (gradient ascent)

미분값을 더하여 함수의 극대값의 위치를 구할 수 있다.

경사하강법(gradient descent)

미분값을 빼서 함수의 극소값의 위치를 구할 수 있다.

이 방법들은 극값에 도달하면 움직임을 멈춘다.

# gradient: 미분 계산 함수
# init: 시작점, lr: 학습률, eps: 알고리즘 종료조건
var = init
grad = gradient(var)

# 컴퓨터로 계산할 때 미분이 정확히 0이 되는 것은 불가능
# eps보다 작을 때 종료하는 조건이 필요
while (abs(grad) > eps):
	var = var - lr * grad
	grad = gradient(var)  # 업데이트

변수가 벡터인 경우?

다변수 함수의 경우, 편미분(partial differentiation)을 사용한다.

import sympy as sym
from sympy.abc import x

sym.diff(sym.poly(x**2 + 2*x*y + 3) + sym.cos(x+2*y), x)

위 식은 변수들인 $x$ 또는 $y$ 로 편미분이 가능하다.

각 변수만큼 편미분을 계산하면 그레이디언트(gradient) 벡터를 구할 수 있다.

이로 경사하강, 경사상승법에 사용할 수 있다.

그레이디언트 벡터란?

임의의 점에서 가장 빠르게 증가하는 방향

$-$ 를 붙이면 각점에서 가장빨리 감소하게 되는 방향

경사하강법 : 알고리즘

다변수 함수에서 최소점을 찾는 코드

# gradient: 그레이디언트 벡터를 찾는 함수
var = init
grad = gradient(var)
while (norm(grad) > eps):
	var = var - lr * grad
	grad = gradient(var)

🥵 경사하강법 - 매운맛

선형회귀분석 복습

역행렬을 이용하지 않고 경사하강법을 이용해 적절한 선형모델 찾아보기

선형모델이 아닌 경우에도 경사하강법 사용가능!

경사하강법으로 선형회귀 계수 구하기

선형회귀의 목적식:

~~이부분 진짜 모르겠다~~

경사하강법 기반 선형회귀 알고리즘

for t in range(T):
	error = y- X @ beta
	grad =- transpose(X) @ error
	beta = beta - lr * grad

# 지정된 시간동안 하고싶으면 T사용, 아니면 종료조건 사용해도 됨
# (그대신 학습횟수가 너무 작으면 안됨)