선형회귀

정의: 종속 변수 y와 한 개 이상의 독립 변수 x와의 선형 상관 관계를 모델링하는 분석 기법

회귀 문제 분류

• 종속변수와 독립변수 수에 따라 분류
• 독립변수, 종속변수 1개 >> 단변량 단순 회귀
• 독립변수 2개 이상 >> 다중 회귀
• 종속변수 2개 이상 >> 다변량

선형 회귀로 풀 수 있는 문제들

- 메신저에 등록된 친구의 수와 한 주 동안 주고받은 메세지의 수
- 마일리지에 따른 중고차 가격
- 학습시간과 시험점수
- 도심에서부터의 거리에 따른 토지 가격
- 마케팅 비용과 매출 사이의 관계
- 직선형이 아닌 경우
  >> 다항 회귀(Polynomial Regression): 지수(x^n) 적용 가능
  >> 직선형으로 만들어보기: 데이터 변환(transformation)

• 간단하게 표현한 회귀 모델: $Y = wX + b$
  • 좀 더 정확한 표현(단변량 단순 회귀): $Yi=β0+β1Xi+∈i$(오류항)
  • 일반화(다중 회귀): $Y+Xβ+∈$
• 어떻게 최적의 $(w,b)$를 찾을까?
  • 최량적합선 찾기
  • 각 데이터 포인트와의 거리(오류)가 가장 가까운 직선의 방정식

수학으로 찾기

• 오차 정의: SSE(Sum of Squared Errors) : $\sum(Y-\hat{Y})^2$
  • $\hat{Y}$: 적합선의 Y의 값
• 공식
  • $w=$${\sum((X-\overline{X})(Y-\overline{Y})}\over\sum(X-\overline{X})^2$
    • $\overline{X}$: X 평균
    • $\overline{Y}$: Y 평균
  • $b=\overline{Y} - w\overline{X}$

머신 러닝으로 선형 회귀(이론)

• 손실 함수 또는 비용 함수
  • 예측값과 실제값의 오차
  • 회귀 문제에서는 일반적으로 MSE(Mean Squared Error)를 사용
    $MSE =$$1\over n$$\sum(Y-\hat{Y})^2$
• 최적화
  • 가장 작은 손실 함수 값을 출력하는 파라미터$(w, b)$찾기
  • 경사하강법 사용

실습 (보스턴 집값 예측)

import pandas as pd
import seaborn as sns
import matplotlib.pyplot as plt

sns.pairplot(df)
plt.show

그래프를 통해 관계성이 있어보이는 변수들만 추출