Regression (: 회귀) (Regression toward the mean : 평균으로의 회귀)

Linear Regression

• 파란 점 : 데이터 => 이 파란 점을 가장 잘 대변하는 직선을 만드는 것
• $y = ax + b$
  • a : 직선의 기울기
  • b : y 절편
• 즉, Linear Regression은 데이터를 잘 대변하는 a과 b의 값을 구하는 것.

가설과 비용

• ex)
  • 가설 $H(x) = Wx + b$ (이 직선이 우리 데이터를 가장 잘 표현하고 있다)
  • 이게 잘 대변하는지는 "비용"으로 생각해 볼 수 있다.
  • $H(x) = Wx + b => H(x) - y$ (우리 가설과 실제 데이터와의 차이)
  • $H(x) - y$를 cost, loss, error 등으로 표현한다. => 이 값을 최소화 하는 방법

제곱을 사용하는 이유

• 그러나 이 값을 최소화 하려고만 한다면 문제가 발생한다.
  • 어떤 부분은 양수, 어떤 부분은 음수로 나오기 때문에, 모든 차이를 더하는건 무의미 할 수 있다.
  • 이를 위해 각 차이를 제곱해서 사용하게 된다.
  • $\text{cost}(W)=\frac{1}{m}\sum_{i=1}^{m}\big(H(Wx_i)-y_i\big)^2$

비용 함수

• 비용 함수는 다음과 같다.
  • $\text{cost}(W)=\frac{1}{m}\sum_{i=1}^{m}\big(H(Wx_i)-y_i\big)^2$
  • => 비용함수가 오차 제곱의 평균으로 정의된다.

목표

• 이 비용함수가 최소가 되는 값인 minimize cost(W, b)의 W, b를 찾는 것이다.

요약

1) Regression
2) Leanear Regression
3) Hypothesis (가설) => $H(x) = Wx + b$
4) Cost Function => $\text{cost}(W, b)=\frac{1}{m}\sum_{i=1}^{m}\big(H(x_i)-y_i\big)^2$ (: 에러 제곱의 평균값)
5) Goal : Minimize cost

출처: 모두를 위한 딥러닝 강좌 2
https://www.youtube.com/watch?v=7eldOrjQVi0&list=PLQ28Nx3M4Jrguyuwg4xe9d9t2XE639e5C