Deep Learning #01 Review: Linear Regression

1. Regression (회귀)

독립 변수와 종속 변수 간의 상관관계를 모델링하는 통계학적 기법으로,
일반적으로 예측과 분류 문제에 사용

$y=x_1+x_2 +x_3 + ... +x_n$

• 독립 변수 ( $x$ ) : 원인 변수
• 종속 변수 ( $y$ ) : 예측하려는 값

2. Linear Regression 학습하기

Linear Regression의 목표 : 학습 데이터를 가장 잘 표현하는 직선 라인 찾기
($w$ : Weight (가중치), $b$ : Bias (편향), $x$ : input (입력))

$H(x) = Wx+b$

사진 출처

Linear Regression Algorithm

Step1. Initialize Parameters
모델 파라미터 $w$, $b$ 초기화

Step2. Compute the Gradient
각각의 파라미터들로 경사하강법 실행, 계산

Step3. Update the Parameters
gradient가 작아지는 곳으로 파라미터 이동
(Learning rate, iteration 등 다양한 변수 설정 필요)

Step4. Step2~3 반복
비용이 최소화 될 때까지, 모델 파라미터 최적화

3. Cost function

모델의 성능을 측정하는 함수로, 예측값과 실제값의 차이를 측정
(일반적으로 MSE(Mean Squared Error) 함수를 사용)

4. Optimization

알고리즘을 통해 모델이 데이터로부터 스스로 최적의 값을 찾아가는 과정

• 목적 : 독립 변수와 종속 변수 사이의 관계를 잘 설명하는 모델 만들기
• 목표 : 비용 최소화 (=비용을 최소화 하는 최적의 $w$, $b$ 찾기)

최적의 $w$ 구하기

최적의 $b$ 구하기

5. Gradient Descent

비용 함수 MSE의 loss가 최소인 지점은 '도함수 값이 0 되는 지점'
0이 되는 지점을 찾아 학습해나가는 것을 Gradient Descent라고 함

Learning rate

경사하강법의 이동거리를 조절하는 값

• 학습률이 작으면, 수렴속도 느려짐
• 학습률이 높으면, overshooting 발생할 수 도 있음
  

Derivative

cost function을 미분한 값을 계산
(코드에서는 미분 지원 X)

6. Example. Linear Regression Model Update

초기 설정 $w=0.25$, $b=0$
$Learningrate = 0.002$ 로 설정