[Artificial Intelligence] Linear Regression
1. Linear Method
f(x)=wx+b
- f(x)는 1차 함수
- 목표는 Dataset에 알맞은 w와 b를 찾는 것이다.
2. Linear Regression
2.1 개요
- Regression(회귀): 2차원이나 그 이상의 차원 공간에서 data를 가지고, 가장 이 data를 잘 표현할 수 있는 직선이나 곡선을 찾아내는 것.
- Linear Regression(선형 회귀): data를 가장 잘 표현할 수 있는 slope(w)과 bias(b)의 값을 찾아내는 문제
2.2 예시
x | y |
---|
Height (cm) | Weight(kg) |
175 | 71 |
152 | 56 |
156 | 47 |
186 | 80 |
- Input: If the height(x) is 165cm, what would be the weight?
- Linear Regression Model ⇒ f(165) = y_result
- Output: The weight(y) is predicted as y = y_result = 64
2.3 종류
- Single variable linear regression(단일 변수 선형 회귀): 하나의 독립 변수(x)를 가진 선형 회귀
f(x)=wx+b
- Multivariable linear regression(다변수 선형 회귀): 여러 독립 변수(x)를 가진 선형 회귀
f(x)=w0+w1x1+...+wnxn+b
-
일반적으로 다음과 같은 행렬로 표현됨.
f(x)=w0+w1x1+...+wnxn=[w0w1...wn−1wn]⎣⎢⎢⎢⎢⎢⎡1x1...xn−1xn⎦⎥⎥⎥⎥⎥⎤=Wx
3.3 Loss function
- 선형 회귀의 목적은 최적의 f(x)의 기울기(w)와 편향(b)을 찾는 것이다.
- 따라서, f(x)와 y의 차이를 최소화 하는 것이 목표이다.
- 일반적인 방법 중 하나는 exploit squared distance이며, 다음과 같다.
(y−f(x))2
- Loss function이란 직선(f(x))과 데이터(y) 사이의 제곱의 합이다.
Loss(W,b)=n1((f(x1)−y1)2+(f(x2)−y2)2+...+(f(xn)−yn)2)Loss(W,b)=n1i=1∑n(f(xi)−yi)2=n1i=1∑n((Wxi+b)−yi)2argminW,bLoss(W,b)
- 다시 말해, loss를 최소화하는 w와 b를 찾는 것이 목표이다.