Linear(선형)

함수 ${\displaystyle f}$에 대해,

• 가산성(Additivity), 즉, 임의의 수 $x, y$에 대해 $f(x+y) = f(x)+f(y)$가 항상 성립하고
• 동차성(Homogeneity), 즉, 임의의 수 $x$와 $α$에 대해 $f(αx)=αf(x)$가 항상 성립할 때

함수 $f$는 선형이라고 한다.

사실 머신러닝, 딥러닝에서 말하는 선형은 종속 변수와 독립 변수 간의 관계를 말 하는 것이라 함수가 비선형이라도 괜찮다.

Regression(회귀)

분류와 회귀
분류는 말 그대로 어떤게 어느 것 인지 분류 하는 것이고
회귀는 입력과 출력 간의 관계를 알아내는 것
ex)고등어의 너비와 도매가, 사과의 당도와 판매가

Linear Regression(선형 회귀)

말 그대로 선형적인 함수(종속 변수와 독립 변수 간의 관계가 선형)를 이용하여 연속된 값을 예측하는 것이다.
ex) 키와 몸무게, 방의 크기와 월세

선형 회귀는 독립 변수의 개수에 따라 이름이 달라진다

Simple Linear Regression(단순 선형 회귀)

독립 변수가 1개일 때 Simple Linear Regression한다.

$y=wx+b$

Multiple Linear Regression(다중 선형 회귀)

독립 변수가 2개 이상 일 때 Simple Linear Regression한다.

$y=w_1x_1+w_2x_2+w_3x_3+w_4x_4+...w_nx_n+b$

가설(Hypothesis) 세우기

어떤 학생의 공부 시간에 따라서 다음과 같은 점수를 얻었다는 데이터가 있습니다.

이를 좌표 평면에 그려보면 다음과 같습니다.

$x$와 $y$의 관계를 유추하기 위해서 수학적으로 식을 세워보게 되는데 머신 러닝에서는 이러한 식을 가설(Hypothesis) 이라고 합니다. 아래의 $H(x)$에서 $H$는 Hypothesis를 의미합니다.

$H(x)=wx+b$

위 그림과 같이 $w$와 $b$의 값에 따라 다르게 그려지는 직선을 볼 수 있습니다. 결국 선형 회귀에서 해야할 일은 적절한 $w$와 $b$를 찾아내는 것 입니다.

Loss function(손실 함수) : MSE

머신 러닝은 $w$와 $b$를 찾기 위해서 실제값과 가설로부터 얻은 예측값의 오차를 계산하는 식을 세우고, 이 식의 값을 최소화하는 최적의 $w$와 $b$를 찾아냅니다.

이는 모델이 예측한 값과 실제 데이터 값을 비교해 오차를 구하고 난 뒤 제곱하여 모두 더합니다. 그런 다음 데이터 개수로 나누면 오차의 제곱합의 평균을 구할 수 있는데 이를 MSE(평균 제곱 오차)라고 합니다.

Gradient Descent(경사하강법)

오차를 구하면 그 오차를 이용해 최적의 매개변수로 갱신해 나간다.

출처:
https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95%EC%84%B1
https://ko.wikipedia.org/wiki/%EC%84%A0%ED%98%95_%ED%9A%8C%EA%B7%80
https://wikidocs.net/21670
https://devhwi.tistory.com/13
https://sdolnote.tistory.com/entry/Linearity
https://better-tomorrow.tistory.com/entry/%EC%84%A0%ED%98%95linear-vs-%EB%B9%84%EC%84%A0%ED%98%95non-linear