Normal Distribution

Normal Distribution

정규분포는 이항분포의 극한분포로, 중심극한정리를 유도하면서 발견되었다.
중심극한정리: $n$개의 서로 독립인 관측오차는 $n$이 크면 클수록 오차의 평균은 0이고 어떤 표준편차를 갖는 정규분포를 따른다.

• 정규분포가 다양한 분야에서 폭넓게 사용되는 이유
  1. 모집단으로부터 추출된 표본이 정규분포를 따를 때 표본의 수학적 성질과 표본으로 계산되는 함수들이 간결하고 편리하다.
  2. 다양한 물리적 현상을 관찰하는 실험으로부터 얻어지는 데이터가 실제로 정규분포를 따르는 경우가 많다.
  3. 중심극한정리에 의해 직접 정규분포를 따르거나, 간단한 변환을 통해 쉽게 정규분포를 따르는 경우가 많다. 이러한 이유로 수많은 통계적 추론의 기반이 된다.

Normal Distribution의 기본적 성질

확률변수 $X$가 다음의 확률밀도함수를 가질 때, 평균이 $\mu$, 분산이 $\sigma^2$인 정규분포를 따른다고 한다. $\Big(X\sim N(\mu,\sigma^2)\Big)$ 정규분포의 모수는 기댓값, 분산과 동일하다.

• 정규분포의 PDF는 중심이 $\mu$이고 좌우대칭인 종 모양의 형태를 가진다.
  • 평균과 중앙값이 동일하다.
• $\sigma^2$는 분포의 넓고 좁은 정도(산포)를 결정하는 모수로, 분산이 크면 위아래가 짧고 좌우로 넓게 퍼진 형태이다. 분산이 작으면 위아래가 높고 좌우로 좁은 뾰족한 형태이다.
• 정규분포의 PDF를 존재구간$(-\infin<x<\infin)$에 대해 적분하면 그 넓이는 1이다.
• 정규분포의 CDF는 닫힌 형태로 얻어지지 않는다. 따라서, 정규분포를 이용한 확률계산을 할 때는 표준정규분포로 변환하여 표준화시킨 후에 확률분포표를 이용해서 구해야 한다.
• 확률변수 $Z=(X-\mu)/\sigma$라고 한다면 $E[Z]=0, Var[Z]=1$이 성립한다. 이 $Z$를 표준정규분포라고 하며 다음과 같이 나타낼 수 있다.
  $Z\sim N(0,1)$
  $\begin{cases}\text{PDF} & \phi(z)=f(x|0,1)=\frac{1}{\sqrt{2\pi}}\exp(-\frac{z^2}{2})\\ \text{CDF} & \Phi(z)=F(z)=\int_{-\infin}^zf(t)dt\end{cases}$
• 정규분포의 적률생성함수(MGF)는 다음과 같다.
  $M_X(t)=\exp(\mu t+\frac{\sigma^2t^2}{2})$
• 정규분포의 누적분포함수는 다음과 같다.
  $P(a\le X\le b)=P(\frac{a-\mu}{\sigma}\le Z \le \frac{b-\mu}{\sigma})=F(b)-F(a)$

정규확률변수의 선형결합

• 만약 $X\sim N(\mu, \sigma^2)$이고 $a$와 $b$가 연속적이면 $Y=aX+b\sim N(a\mu+b, a^2\sigma^2)$
  • $X$가 정규분포를 따른다면 선형함수 $Y$ 역시 정규분포를 따른다.
• 만약 $X_1\sim N(\mu_1,\sigma_1^2)$과 $X_2\sim N(\mu_2,\sigma_2^2)$의 확률변수들이 서로 독립이면 $Y=X_1+X_2\sim N(\mu_1+\mu_2,\sigma_1^2+\sigma_2^2)$
• 만약 $X_i\sim N(\mu,\sigma^2), 1\le i\le n$의 확률변수들이 서로 독립이면 이들의 표본 평균 $\bar{X}=\sum X_i/n$은 $\bar{X}\sim N(\mu, \frac{\sigma^2}{n})$와 같은 분포를 따른다.
  $n$이 무한대에 가까워질수록 분산은 0에 수렴하여 모평균에 수렴한다. 다시 말해 실제 값과 거의 차이가 없어진다.
  • 정규분포를 따르는 확률변수들의 합은 역시 정규분포를 따른다.

정규분포를 활용한 분포의 근사화

중심극한정리

상호 독립이며 동일한 분포를 따르는 확률변수 $X_1, X_2, \dots,X_n$의 평균이 $\mu$, 분산이 $\sigma^2$일 때 $n$개의 표본으로부터 얻어진 평균의 분포는 평균 $\mu$, 분산 $\frac{\sigma^2}{n}$인 정규분포를 따른다.

• 중심극한정리는 확률변수들의 평균에 대한 확률값을 추정하는데 편리한 방법을 제공한다.
• 한 표본의 평균은 각각의 측정치의 실제 분포를 대신해서 정규분포를 따른다고 가정한다.
• $n$개의 표본이 추출되는 데이터의 분포가 정규분포가 아닌 다른 임의의 분포로 가정하여도 그 표본평균의 분포는 정규분포를 따른다. 즉, $n$이 충분이 크다면 표본평균의 분포는 표본이 추출된 분포에 상관 없이(iid를 따르기만 한다면) 근사적으로 정규분포를 따른다.

이항분포의 정규근사

이항분포의 모수 $n$이 매우 클 때는 이항분포의 누적분포함수를 계산하는 것이 거의 불가능하다. 하지만, 중심극한정리를 활용하면 이항분포의 정규근사를 통해 해결할 수 있다.

• 이항분포를 따르는 확률변수는 베르누이 확률변수의 합으로 표현할 수 있다. $X_1,X_2,\dots,X_n$을 평균 $\mu=p$, 분산 $\sigma^2=p(1-p)$인 베르누이 분포로부터 뽑은 확률표본이라고 할 때, 이 확률변수들의 합 $Y\sim B(np,np(1-p))$이 된다. 이를 표준화하였을 때 $n\rightarrow\infin$이 되면 $N(0,1)$로 수렴한다.
  $Z=\frac{Y-np}{\sqrt{np(1-p)}}=\frac{\bar{X}-p}{\sqrt{p(1-p)/n}}\rightarrow N(0,1)$
• 이항분포 $B(n,p)$를 동일한 기댓값과 분산을 갖는 정규분포로 근사할 수 있다.
  $X\sim B(n,p)\rightarrow N(np,np(1-p))$
• 이때, 정규분포를 이용해 이항분포의 확률값을 계산할 때, 이산형 확률변수 구간의 계산을 연속형으로 하면 오차가 발생한다. 따라서, 이 오차를 보정하는 식을 연속화 보정이라고 한다.
  $P(a\le X\le b)\approx\int_{a-0.5}^{b+0.5}g(x)dx$

정규분포와 연관된 분포

대수정규분포 (The Lognormal Distribution)

확률변수 $Y=\ln(X)\rightarrow X=e^Y$가 평균이 $\mu$, 분산이 $\sigma$인 정규분포를 따른다면 확률변수 $X$는 모수 $\mu$와 $\sigma^2$를 가지는 대수정규분포를 따른다.

• $F(x)=P(X\le x)=P(e^Y\le x)=P(Y\le\ln(x))=\Phi\Big(\frac{\ln(x)-\mu}{\sigma}\Big)$
• $f(x)=\frac{d}{dx}F(x)=\frac{1}{\sigma x}\phi\Big(\frac{\ln(x)-\mu}{\sigma}\Big)=\frac{1}{\sigma x}\phi(z)$
• 이때 $\phi(z)=\frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}$
• 모수의 평균과 분산은 대수정규분포의 평균, 분산과 같지 않다.
• $E[X]=e^{\mu+\sigma^2/2}$
• $Var[X]=e^{2\mu+\sigma^2}(e^{\sigma^2}-1)$

카이제곱분포

자유도가 1인 표준정규 확률변수의 제곱의 분포는 $\chi^2(1)$이고 다음을 따른다.

• $Y=Z^2$인 카이제곱분포의 확률밀도함수: $f(y)=\frac{1}{2^{\nu/2}\Gamma(\nu/2)}y^{\nu/2-1}e^{-y/2}, \quad y\ge0$
• 자유도 $\nu$인 $\mathcal{X}^2$인 확률변수 $Y$는 다음과 같다.
  $Y=Z_1^2+Z_2^2+\cdots+Z_\nu^2\sim\chi^2(n)$
  이때 $Z_i$는 독립인 표준정규 확률변수이다.
• 카이제곱분포는 감마분포의 특수한 형태로서 통계적 검정 및 추론에서 매우 중요하게 사용된다.
  $X\sim \chi^2(\nu)=\Gamma(\alpha=\frac{\nu}{2}, \lambda=\frac{1}{2})$
• $E[X]=\nu$
• $Var[X]=2\nu$
• $M_x(t)=(\frac{1}{1-2t})^{\nu/2}\quad\text{for }t<1/2$
• 확률변수 $X_1, X_2, \dots, X_k$가 서로 독립이고 자유도가 $\nu_i$인 카이제곱 분포를 따를 때, 확률변수의 합 $X_1+X_2+\dots+X_k$은 자유도가 $\nu_1+\dots+\nu_k$인 카이제곱 분포를 따른다.

T 분포

표준정규분포를 따르는 확률변수를 독립인 $\chi^2_\nu/\nu$의 제곱근으로 나눈 확률변수는 자유도 $\nu$를 가지는 t-분포를 따른다.

• 자유도 $\nu$가 증가함에 따라 t-분포는 점점 더 표준정규분포에 가깝게 되어 $\nu\rightarrow\infin$일 때 표준정규분포는 t-분포의 극한 분포가 된다.

F 분포

두 개의 $\chi^2$ 확률변수 $(U\sim\chi^2(\nu_1),\quad V\sim\chi^2(\nu_2))$가 서로 독립일 때 다음과 같다.