정규 분포, 이변량 정규 분포

STATS·2023년 7월 1일

수리통계학

목록 보기

17/40

정규 분포는 중심 극한 정리와 가설 검정에서 중요한 역할을 하는 통계학의 핵심적인 확률 분포다. 정규 분포의 성질을 도출할 때는 표준정규분포를 이용해 도출하는 경우가 많다.

Z \sim N(0, 1) \\ {} \\ f_Z(z) = \frac{1}{\sqrt{2\pi}}e^{\frac{-z^2}{2}} \\ {} \\ M_Z(t) = e^{\frac{t^2}{2}}

표준정규분포를 이용해 일반적인 기댓값이 $\mu$ 이고 분산이 $\sigma^2$ 인 정규분포를 도출해보자.

X = \sigma Z + \mu \\ {} \\ F_X(x) = P(X \le x) = P(\sigma Z + \mu \le x) = P(Z \le \frac{x - \mu}{\sigma}) = F_Z(\frac{x - \mu}{\sigma}) \\ \frac{d}{dx}F_X(x) = f_X(x) = f_Z(\frac{x - \mu}{\sigma})\frac{1}{\sigma} \\ {} \\ f_X(x) = \frac{1}{\sigma \sqrt{2 \pi}}e^{-\frac{(x-\mu)^2}{2\sigma^2}} \\ {} \\ {} \\ M_X(t) =E(e^{Xt}) = E(e^{Z(\sigma t) + \mu t}) = e^{\mu t}E(e^{Z(\sigma t)}) \\ = e^{\mu t + \sigma^2\frac{t^2}{2}}

$Y = Z^2$ 으로 확률 변수 $Y$ 를 정의하자.

F_Y(y) = P(Y \le y) = P(Z^2 \le y) = P(-\sqrt{y} \le Z \le \sqrt{y}) \ (y \ge 0) \\ = P(Z \le \sqrt{y}) -P(Z \le -\sqrt{y})= F_Z(\sqrt{y}) - F_Z(- \sqrt{y}) \\ {} \\ \frac{d}{dy}F_Y(y) = f_Y(y) = \frac{f_Z(\sqrt{y})+f_Z(-\sqrt{y})}{2 \sqrt{y}} = \frac{f_Z(\sqrt{y})}{\sqrt{y}} \ (f_Z(\sqrt{y}) = f_Z(-\sqrt{y})) \\ =\frac{1}{\sqrt{2 \pi}}y^{\frac{1}{2}-1}e^{\frac{y}{2}}

$f_Y(y)$ 는 자유도가 1인 카이제곱 분포의 확률 함수와 동일하다. 따라서 $Y \sim \chi^2(1)$ 이다.
위 과정을 통해 표준 정규 분포를 제곱한 확률 변수는 자유도가 1인 카이제곱 분포를 따름을 알 수 있다.

X_i \sim N(\mu_i, \sigma_i^2), X_i \perp X_j, \ Y = \sum_{i=1}^n X_i \\ {} \\ M_Y(t) = E(e^{Yt}) = E(e^{(\sum_{i=1}^n X_i)t}) = \prod_{i=1}^n E(e^{X_it}) \\ = e^{(\sum_{i=1}^n \mu_i)t + (\sum_{i=1}^n \sigma_i^2)\frac{t^2}{2}} \\ {} \\ Y \sim N(\sum_{i=1}^n \mu_i, \sum_{i=1}^n \sigma_i^2)

X \sim N(\mu_1, \sigma_1^2), \ Y \sim N(\mu_2,\sigma_2^2), \ X \perp Y \\ {} W = aX+bY \\ {} \\ M_W(t) = E(e^{Wt}) = E(e^{(aX+bY)t}) = E(e^{X(at)})E(e^{Y(bt)}) \\ = e^{(a\mu_1)t + (a^2\sigma_1^2)\frac{t^2}{2}} \cdot e^{(b\mu_2)t + (b^2\sigma_2^2)\frac{t^2}{2}} = e^{(a\mu_1 + b\mu_2)t + (a^2\sigma_1^2 + b^2\sigma_2^2)\frac{t^2}{2}} \\ {} \\ W \sim N(a\mu_1 + b\mu_2, a^2\sigma_1^2+b^2\sigma_2^2)

이변량 정규 분포는 정규 분포의 일반화로, 결합 확률 변수는 다음과 같다.

(X, Y) \sim Bivariate \ Normal((\mu_1, \mu_2), \begin{bmatrix} \sigma_1^2 & \rho \sigma_1 \sigma_2 \\ \rho \sigma_1 \sigma_2 & \sigma_2^2 \\ \end{bmatrix} ) \\ {} \\ f_{X, Y}(x, y) = \frac{1}{2\pi \sigma_1 \sigma_2 \sqrt{1- \rho^2}} exp(\frac{-1}{2(1-\rho^2)}[(\frac{x - \mu_1}{\sigma_1})^2 + (\frac{y - \mu_2}{\sigma_2})^2 -2\rho(\frac{x - \mu_1}{\sigma_1})(\frac{y-\mu_2}{\sigma_2})])

이변량 정규 분포의 각 주변 분포는 정규분포를 따른다.
주의할 점은 $X$ , $Y$ 각각이 정규분포를 따른다고 해서 $(X, Y)$ 가 이변량 정규분포가 되는 것은 아니다.

(X, Y) \sim B.N(\mu, \Sigma) \Rightarrow X \sim (\mu_1, \sigma_1^2), Y \sim (\mu_2, \sigma_2^2) \ : 역은 \ 성립하지 \ 않는다.

이변량 정규 분포의 조건부 확률 분포도 정규 분포를 따른다.

X_1 \lvert X_2 = x_2 \sim N(\mu_1 + \rho\frac{\sigma_1}{\sigma_2}(x_2 - \mu_2), \sigma_1^2(1-\rho^2))