1. 단순선형회귀 (Simple Linear Regression)

• 일반적으로 독립변수가 하나인 모형은 잘사용안하시만 개념 파악을 위해 사용

• 의미
  • $y_i$: 종속 변수 (반응 변수, 예측하고자 하는 실제 값)
  • $\epsilon_i$: 오차항 (Error Term) — $x_i$로 설명되지 않는 무작위적인 변동성 및 측정 오차

2. 단순회귀모형의 가정

1. 설명변수 $X$는 확률변수가 아니라 비확률변수(주어진 것)으로 간주
2. $\epsilon_i$의 기댓값은 0
   OLS의 목적은 잔차의 제곱합인 $SSE$를 최소화하는 파라미터 $\hat{\beta}_0$와 $\hat{\beta}_1$를 찾는 것
   $\begin{aligned} SSE &= \sum_{i=1}^n e_i^2 = \sum_{i=1}^n (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i)^2 \\[1.5em] \frac{\partial SSE}{\partial \hat{\beta}_0} &= -2 \sum_{i=1}^n (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i) = 0 \\[1.5em] &\sum_{i=1}^n (y_i - \hat{\beta}_0 - \hat{\beta}_1 x_i) = 0 \\[1.5em] &\sum_{i=1}^n e_i = 0 \end{aligned}$
3. $\epsilon_i$의 분산은 $σ^2$, 분산이 변수가 아닌 상수로 고정 → 오차항의 등분산성을 만족

• 만약 등분산성을 만족하지 못한다면(이분산성),
  1. 회귀 계수는 여전히 맞지만(unbiassed), 최선은 아님(Not Efficient)
  2. p-value와 가설 검정의 붕괴 (가정이 틀리니 결론을 신뢰할 수 없음)
     

4. 서로 다른 오차에 대해서 $Cov(\epsilon_i, \epsilon_j) = 0$

• i번째 데이터의 오차가 j번째 데이터의 오차를 예측하는데 아무런 힌트를 주면 안됨
• Time-Series data같은 경우 이전 데이터가 시간에 따른 영향을 포함하는 경향이 있음
• 상관관계가 존재하는 현상을 자기상관성(Autocorrelation)