[Artificial Intelligence] Linear Regression

TaeYong·2022년 10월 19일
0

Artificial Intelligence

목록 보기
1/2

1. Linear Method

f(x)=wx+bf(x) = wx + b
  • f(x)는 1차 함수
  • 목표는 Dataset에 알맞은 w와 b를 찾는 것이다.

2. Linear Regression

2.1 개요

  • Regression(회귀): 2차원이나 그 이상의 차원 공간에서 data를 가지고, 가장 이 data를 잘 표현할 수 있는 직선이나 곡선을 찾아내는 것.
  • Linear Regression(선형 회귀): data를 가장 잘 표현할 수 있는 slope(w)bias(b)의 값을 찾아내는 문제

2.2 예시

  • Dataset
xy
Height (cm)Weight(kg)
17571
15256
15647
18680
  • Input: If the height(x) is 165cm, what would be the weight?
  • Linear Regression Model ⇒ f(165) = y_result
  • Output: The weight(y) is predicted as y = y_result = 64

2.3 종류

  • Single variable linear regression(단일 변수 선형 회귀): 하나의 독립 변수(x)를 가진 선형 회귀
    f(x)=wx+bf(x) = wx + b
  • Multivariable linear regression(다변수 선형 회귀): 여러 독립 변수(x)를 가진 선형 회귀
    f(x)=w0+w1x1+...+wnxn+bf(x) = w_0+ w_1x_1 + ... + w_nx_n +b
    • 일반적으로 다음과 같은 행렬로 표현됨.

      f(x)=w0+w1x1+...+wnxn=[w0w1...wn1wn][1x1...xn1xn]=Wxf(x) = w_0+ w_1x_1 + ... + w_nx_n \\ = \begin{bmatrix} w_0 w_1 ... w_{n-1} w_n \end{bmatrix} \begin{bmatrix} 1 \\ x_1 \\ ...\\ x_{n-1} \\x_n\\ \end{bmatrix} \\ =\bold{Wx}

3.3 Loss function

  • 선형 회귀의 목적은 최적의 f(x)의 기울기(w)와 편향(b)을 찾는 것이다.
  • 따라서, f(x)와 y의 차이를 최소화 하는 것이 목표이다.
  • 일반적인 방법 중 하나는 exploit squared distance이며, 다음과 같다.
(yf(x))2(y - f(x))^2
  • Loss function이란 직선(f(x))과 데이터(y) 사이의 제곱의 합이다.
Loss(W,b)=1n((f(x1)y1)2+(f(x2)y2)2+...+(f(xn)yn)2)Loss(W,b)=1ni=1n(f(xi)yi)2=1ni=1n((Wxi+b)yi)2argminW,bLoss(W,b)Loss(W, b) = \frac{1}{n}((f(x_1)-y_1)^2+(f(x_2)-y_2)^2+...+(f(x_n)-y_n)^2) \\ Loss(W, b) = \frac{1}{n}\sum_{i=1}^{n}{(f(x_i) - y_i)}^2= \frac{1}{n}\sum_{i=1}^{n}{((Wx_i+b) - y_i)}^2 \\ {argmin}_{W, b} Loss(W,b)
  • 다시 말해, loss를 최소화하는 w와 b를 찾는 것이 목표이다.

0개의 댓글