Regression Analysis Lecture Note 2 정리

Introduction to Simple Linear Regression

2.1 Relations Between Variables

• Simple Linear Regression
  X; predictor 랑 Y;response 사이의 관계.
  Simple; we have only one predictor

• Functional Relation: $Y=f(X)$
  Statistical Relation: $Y=f(X)+\epsilon$

2.2 Simple Linear Regression Model

• random: $Y_i, \epsilon_i$
  fixed(constant): $\beta_0, \beta_1, X_i$
  unknown parameters: $\beta_0 \beta_1$
  Linear: 지수함수. 또는 다른 parameter로 나눠지지 않은 형태 ($Y=\beta_0+\beta_1 X^2$은 가능)

$\epsilon_i$ 는 $E(\epsilon_i)=0, Var(\epsilon_i)=\sigma^2_\epsilon, Cov(\epsilon_i, \epsilon_j)=0$ for $i \ne j$

$E(Y_i)=\beta_0+\beta X_i$ -> trend line
$Var(Y_i) = \sigma^2_\epsilon$ -> 모두 동일한 분산
$Cov(Y_i, Y_j)=0$

proof

$E(Y_i)=E(\beta_0+\beta X_i+\epsilon_i)=\beta_0+\beta X_i+E(\epsilon_i)=\beta_0+\beta_1 X_i$

$\operatorname{Var}\left(Y_i\right)=\operatorname{Var}\left(\beta_0+\beta_1 X_i+\varepsilon_i\right)=\operatorname{Var}\left(\varepsilon_i\right)=\partial_{\varepsilon}^2$

$\operatorname{Cov}\left(Y_i, Y_j\right)=\operatorname{Cov}\left(B_0+B_1 X_i+\varepsilon_i, B_0+B_1 X_j+\varepsilon_j\right)=\operatorname{Cov}\left(B_0+B_1 X_i, B_0+B_1 X_j\right)+\operatorname{Cov}\left(B_0+B_1 X_i, \varepsilon_j\right)+\operatorname{Cov}\left(B_0+B_1 X_j, \epsilon_i\right)+\operatorname{Cov}\left(\varepsilon_i, \varepsilon_j\right)=0$

Assumptions of Linear Regression

=> HEIL Gauss

• Homoscedasticity: 모든 X에 대해 분산 동일
• Existence: Y는 유한한 평균과 분산을 가져야함
• Independence: Y들은 서로 독립
• Linearity: Y의 평균은 선형적
• Gaussian: $\epsilon, Y$은 정규분포를 따른다.