Section2-Sprint1 선형회귀

[Today I Learned]

Warm-up

• Introduction to Linear regression
  1) 관측치 $x, y$의 평균 계산
  2) $x-\bar{x}$ , $y-\bar{y}$ 계산
  3) $x-\bar{x}^2$ , $(x-\bar{x})(y-\bar{y})$ 계산
  4) 기울기($\beta_1$) = $\frac{\sum{(x-\bar{x})^2}} {\sum{(x-\bar{x})(y-\bar{y})}}$
  5) 회귀식 $y = \beta_1x + \beta_0$에 ($x$의 평균, $y$의 평균) 값을 넣어 $y$절편($\beta_0$) 계산

  • 기울기($\beta_1$) : 종속변수와 독립변수의 관계

• Tabular data의 특징
  • Observation (관측치)
  • Variable (변수)
  • Relationships (관계)

• Comparing Classification and Regression
  지도학습에서 분류(Classification)와 회귀(Regresssion)의 차이
  • Output type (Class label vs Continuous)
  • What are you trying to find? (Desicion boundary vs Best fit line)
  • Evaluation (Accuracy vs Sum of squared error/$R^2$)

Session - n211

• 선형 회귀 (Linear Regression)
• 기준모델 (Baseline Model)
• scikit-learn을 활용한 선형회귀모델
• ipywidgets 활용

과제

• 단순선형회귀모형의 조건

  • 선형성
  • 독립성
  • 등분산성
  • 정규성

• Ordinary least square(최소제곱법/최소자승법)

  • 잔차 제곱합(RSS)를 최소화하는 파라미터를 구하는 방법

각 파라미터(단순선형회귀에서는 $\beta_0, \beta_1$)들의 편미분 값을 0으로 두고 연립방정식을 통해 최적의 파라미터 값을 구한다.