선형 회귀

• 다음 노동시간과 매출액을 보고 7시간과 9시간을 일 했을 때 매출액을 구하시오
  

• 해결 방법

• 매출 데이터를 그래프로 표현 해보자

• 노동시간과 매출이 성형함수의 형태를 지닌다.
  

• 선형 회귀 : 주어진 데이터중 가장 합리적인 선형 함수를 찾아내는 문제

• 학습 데이터가 3개 이상일 때 의미가 있다.

• 아래 함수 중 데이터를 가장 잘 나타내는 선형함수는 2번이라고 볼 수 있다.
  

• 선형 함수 모델은 다음과 같이 정의 할 수 있다.

• 가설 함수 f(x) = Wx + b (W와 b를 수정해가면서 가장 합리적인 식을 찾아나간다.=> 이를 학습 이라고 한다.)

• 현재 우리 모델에서 얼마나 잘못 됬는지 평가하는 방법 필요

• 비용(cost) = 손실(loss) : 모델이 뱉은 답과 실제 정답의 차이를 수치화 한 것

• 비용을 줄이는 방향으로 모델을 수정해 나간다.

최소 제곱법(LSM)

• 평균 제곱 오차(MSE)를 이용할 수 있다.

• 모든 데이터에 대한 (실제 값 - 예상 값)^2의 합으로 비용 계산

• 다음 식을 최소화 하는 파라미터 (W, b)를 찾는것이 목표 -> 이를 최소 제곱법이라 한다.

• m : 데이터 개수
  

• 비용 구하기 예제

• W = 1, b = 2일 때의 비용을 구해보자(f(x) = x+2)
  

= ((3-2)^2 + (4-4)^2 + (5-6)^2) / 3
= 2/3
-> 비용을 최소화 하기 위한 방법(W,b 수정)은?

경사 하강(최소 제곱 값을 얻는 방법)

• 경사 하강(gradient descent) : 기울기를 이용해 비용을 줄이는 방법
• 미분을 이용해 특정 값에서의 기울기를 구한다.
  

-> 기울기가 양수 이므로 가중치를 음수 방향으로 이동

• H(x) = Wx라고 생각해 보자

• MSE는
  

• (Wxi - yi)^2을 최소화 하는 방법은?

• MSE 비용 함수는 볼록 함수로 기울기가 0 이되는 지점에서 비용이 최소가 된다.
  

최소 제곱법으로 추세선 찾기

• 비용을 줄이기 위한 방법
  -> 비용 함수를 가중치(W)로 미분해 기울기를 구하고 기울기 반대 로 W업데이트
• 이동하는 크기는?
  -> 학습률(learning rate)을 곱하여 이동한다.
• 학습률이 0.01, 기울기 7이라면?
  -> W = W-0.01*7 로 업데이트
• 과정 반복