Inferences in Simple Linear Regression

이제는 추론을 해야 한다. 이를 위해, $\epsilon$의 정규성이 필요하다.

3.1 Normal Error Regression Model

• $\epsilon \sim N(0, \sigma^2_\epsilon)$
• $Y_i \sim N(\beta_0+\beta_1X_i, \sigma^2_\epsilon)$
• Y의 평균은 X에 종속, Y의 분산은 X에 종속x

Maximum Likelihood Estimation

Likelihood Function: 너가 가지고 있는 확률모델(parameter $\theta$)이 있다. 이 모델을 통해서 데이터 X를 얻을 수 있는 확률

Maximum Likelihood Estimation(MLE): 너가 가지고 있는 likelihood functiondmf 최대화시켜주는 $\theta$를 찾는다.

$\underset{\theta}{\operatorname{argmax}} \prod_{i=1}^n f\left(x_i ; \theta\right)$
$f(x_i; \theta)$ : product of the pdf of each data points

$= \underset{\theta}{\operatorname{argmax}} \prod_{i=1}^n L\left(\theta ;x_i\right)$
$L(\theta;x_i;)$ : product of likelihood of each data points
-> combine

$= \underset{\theta}{\operatorname{argmax}} \prod_{i=1}^n L\left(\theta ;x_i\right)$

$= \underset{\theta}{\operatorname{argmax}} \ L\left(\theta ;x_1, ... , x_n\right)$
-> maximizing raw likelihood is difficult sometimes...

$= \underset{\theta}{\operatorname{argmax}} \ log\{L\left(\theta ;x_1, ... , x_n\right)\}$

$= \underset{\theta}{\operatorname{argmax}} \ log\left(\theta ;x_1, ... , x_n\right)$
-> log of the products is sum of the logs

$= \underset{\theta}{\operatorname{argmax}} \sum_{i=1}^n log\left(\theta ; x_i\right)$
-> likelihood function is the pdf itself

$= \underset{\theta}{\operatorname{argmax}} \sum_{i=1}^n logf\left(x_i ; \theta\right)$

3.1.1 Maximum Likelihood Estimation of Parameters

$L\left(\beta_0, \beta_1, \sigma_{\varepsilon}^2\right)=\prod_{i=1}^n f\left(Y_i ; \beta_0, \beta_1, \sigma_{\varepsilon}^2\right)$

$=\prod_{i=1}^n \frac{1}{\left(2 \pi \sigma^2_\epsilon\right)^{\frac{1}{2}}} \exp \left[-\frac{1}{2 \sigma_{\varepsilon}^2}\left(Y_i-\beta_0-\beta_i X_i\right)^2\right]$