Ch4_여러 가지 확률분포_2

중간 이후 ↓

연속확률분포 (Continious Probabiltiy Distribution)

균등분포, 균일분포(uniform distribution)

• $a < b$인 두 상수, $a,b$ 에 대하여 확률변수 $X$의 확률밀도함수(PDF)가 다음과 같이 주어질 때, 확률변수 $X$는 균등분포 또는 균일분포를 따른다고 하며 $U(a,b)$ 로 표기한다.
• $f(x) = \begin{cases} \dfrac{1}{b - a} & (a \leq x \leq b) \\ 0 & (x < a \text{ 또는 } x > b) \end{cases}$
• 확률변수 $X$가 균등분포를 다르면 확률변수 $X$의 분포함수 (CDF) 는 다음과 같다
• $F(x) = \begin{cases} 0 & (x < a) \\ \dfrac{x - a}{b - a} & (a \leq x < b) \\ 1 & (b \leq x) \end{cases}$

균등분포의 평균과 분산

• $E(U) = \int_{a}^{b} x * f(x)=\int_{a}^{b} x* \frac{1}{b - a}dx = \frac{1}{b - a}(\frac{b^2}{2} - \frac{a^2}{2}) = \frac{a+b}{2}$

• $V(U) = \int_{a}^{b} x^2 * f(x) - (E(u))^2 =\int_{a}^{b} x^2* \frac{1}{b - a}dx - (\int_{a}^{b} x* \frac{1}{b - a}dx ) ^2 = \int_{a}^{b} x^2* \frac{1}{b - a}dx - (\frac{a+b}{2} )^2 = \frac{(b - a)^2}{12}$

위치-척도 변환 (Location-scale transformation)

확률변수 X에 대해 Y = σX + μ (σ > 0) 로 변환하는 것을 location-scale transformation이라 한다.

• μ: 위치(location)를 이동시킴 (분포를 좌우로 평행이동)
• σ: 척도(scale)를 변화시킴 (분포를 늘리거나 줄임)

핵심 성질: 균등분포는 선형변환에 닫혀 있다

$X \sim \text{Unif}(a, b), \quad Y = cX + d \quad (c > 0)$

$\Rightarrow \quad Y \sim \text{Unif}(ca + d, \; cb + d)$

즉, 균등분포에 선형변환을 적용하면 여전히 균등분포이다.

비선형 변환은 균등성을 깨뜨린다.
예: $X \sim \text{Unif}(a, b)$ ($0 \leq a < b$)일 때, $Y = X^2$의 지지(support)는 $(a^2, b^2)$이지만 그 구간 위의 균등분포가 아니다.

전략

균등분포의 기대값·분산을 구할 때, Unif(0,1)에서 먼저 계산한 뒤 location-scale 변환으로 일반 Unif(a,b)에 확장한다.

Step 1: U ~ Unif(0, 1)에서 계산

PDF가 $f(u) = 1$ ($0 < u < 1$)이므로 적분이 매우 간단하다.

$E(U) = \int_0^1 u \, du = \frac{1}{2}$

$E(U^2) = \int_0^1 u^2 \, du = \frac{1}{3}$

$\text{Var}(U) = E(U^2) - [E(U)]^2 = \frac{1}{3} - \frac{1}{4} = \frac{1}{12}$

Step 2: Unif(0, 1) → Unif(a, b)로 변환

U ~ Unif(0,1)로부터 일반적인 Unif(a,b) 확률변수를 만드는 과정:

1. 지지(support)의 길이를 맞춘다: U에 (b - a)를 곱하면 → Unif(0, b - a)
2. 왼쪽 끝점을 a로 이동한다: a를 더하면 → Unif(a, b)

$\tilde{U} = a + (b - a)U \sim \text{Unif}(a, b)$

Step 3: 기대값과 분산 도출

기대값 (기대값의 선형성 이용):

$E(\tilde{U}) = E(a + (b-a)U) = a + (b-a) \cdot E(U) = a + \frac{b-a}{2} = \frac{a+b}{2}$

분산 (상수 덧셈은 분산에 영향 없음, 상수 곱셈은 제곱되어 나옴):

$\text{Var}(\tilde{U}) = \text{Var}(a + (b-a)U) = (b-a)^2 \cdot \text{Var}(U) = \frac{(b-a)^2}{12}$

이 전략이 적용 가능한 조건

분포족(family) 내에서 이동(shift)과 스케일링(scaling)이 같은 분포족 안에 머물러야 한다.

• O 균등분포: Unif(0,1) → 선형변환 → Unif(a,b) (같은 균등분포족)
• O 정규분포: N(0,1) → σX + μ → N(μ, σ²) (같은 정규분포족)
• X 이항분포: 지지(support)가 {0, 1, ..., n}으로 고정되어 있어 이동/스케일링 시 이항분포를 벗어남
  • X ~ Bin(n, p)일 때 X + 4는 {0, 1, 2, 3}을 취할 수 없음
  • 2X는 짝수 값만 가능 → 더 이상 이항분포가 아님

주의: Sympathetic Magic (유감주술의 오류)

변환은 확률변수(r.v.)에 적용하는 것이지, PDF에 직접 적용하는 것이 아니다!

잘못된 예시:

• $U \sim \text{Unif}(0, 1)$이면 PDF는 $f(x) = 1$ ($0 < x < 1$)
• $3U + 1 \sim \text{Unif}(1, 4)$ ← 올바름
• $3f + 1$은 $(0, 1)$에서 값이 4이고 나머지에서 1인 함수 ← 적분하면 1이 아니므로 유효한 PDF가 아님

"확률변수를 변환하라, PDF를 변환하지 마라"

균등분포의 보편성 (Universality of the Uniform Distribution) -> 교재에는 없음

균등분포는 모든 연속분포의 "공통 화폐"이다.

정리 (Theorem)

• X가 연속 확률변수이고 CDF가 F (순증가, 즉 strictly increasing)일 때:

  • 방향 1: 아무 연속분포 → Unif(0,1)

    $F(X) \sim \text{Unif}(0,1)$

  • 방향 2: Unif(0,1) → 아무 연속분포

    $U \sim \text{Unif}(0,1) \implies F^{-1}(U) \sim F$

---

증명

• 방향 1 증명: F(X) ~ Unif(0,1)

  • $Y = F(X)$로 놓고, Y의 CDF를 구한다.

    $P(Y \leq y) = P(F(X) \leq y)$

  • F가 순증가이므로 역함수 $F^{-1}$이 존재하고, 양변에 $F^{-1}$을 적용할 수 있다:

    $= P(X \leq F^{-1}(y))$

  • $P(X \leq t) = F(t)$이므로 (CDF의 정의):

    $= F(F^{-1}(y)) = y$

  • 따라서 Y의 CDF는:

    $F_Y(y) = y \quad (0 < y < 1)$

    이것은 정확히 Unif(0,1)의 CDF이다. $\blacksquare$

• 방향 2 증명: F⁻¹(U) ~ F

  • $X = F^{-1}(U)$로 놓고, X의 CDF를 구한다.

    $P(X \leq x) = P(F^{-1}(U) \leq x)$

  • 양변에 F를 적용하면 (F는 순증가):

    $= P(U \leq F(x))$

    $U \sim \text{Unif}(0,1)$이므로 $P(U \leq t) = t$ ($0 < t < 1$):

    $= F(x)$

  • 따라서 X의 CDF가 F이다. 즉 $X \sim F$. $\blacksquare$

---

직관적 이해

• CDF를 씌우면 왜 균등해지는가?

  CDF $F(x) = P(X \leq x)$는 다음 성질을 가진다:

  • 출력 범위가 항상 (0, 1)

  • 순증가 함수이므로 X가 작으면 F(X)도 작고, X가 크면 F(X)도 크다

  • X가 밀도가 높은 구간에 몰려 있으면 → F가 그 구간에서 가파르게 올라감 → F(X)의 값이 넓게 퍼짐

  • X가 밀도가 낮은 구간에 퍼져 있으면 → F가 그 구간에서 완만 → F(X)의 값이 좁게 모임

    즉, CDF는 "밀도가 높은 곳은 늘리고, 밀도가 낮은 곳은 줄이는" 변환을 하기 때문에 결과적으로 (0,1) 위에서 균등하게 분포하게 된다.

비유

시험 점수의 백분위(percentile)를 생각하면 된다.

• 원래 점수 분포는 종모양이든, 치우쳐 있든, 제각각이다.
• 하지만 "상위 몇 %인가?"로 변환하면 항상 0~100% 사이에 균등하게 퍼진다.
• 백분위 = CDF 값이므로, 이것이 바로 $F(X) \sim \text{Unif}(0,1)$과 같은 말이다.

---

활용

• 역변환 샘플링 (Inverse Transform Sampling)
  컴퓨터 시뮬레이션에서 가장 기본적인 난수 생성 방법이다.

  • 알고리즘:

    1. $U \sim \text{Unif}(0,1)$ 난수를 생성한다 (컴퓨터가 쉽게 할 수 있음)

    2. 원하는 분포의 역 CDF를 씌운다: $X = F^{-1}(U)$

    3. X는 원하는 분포를 따른다

• 예시: 지수분포 Expo(λ) 난수 생성

  지수분포의 CDF:

  $F(x) = 1 - e^{-\lambda x} \quad (x > 0)$

  역함수를 구한다:

  $y = 1 - e^{-\lambda x} \implies e^{-\lambda x} = 1 - y \implies x = -\frac{1}{\lambda} \ln(1 - y)$

  따라서:

  $U \sim \text{Unif}(0,1) \implies X = -\frac{1}{\lambda} \ln(1 - U) \sim \text{Expo}(\lambda)$

참고: $1 - U$도 Unif(0,1)이므로 $X = -\frac{1}{\lambda} \ln(U)$로 써도 된다.

P-value의 분포

통계적 가설검정에서:

귀무가설이 참일 때, P-value ~ Unif(0,1)

이것이 바로 Universality of the Uniform의 직접적인 응용이다.

• 검정통계량 T의 CDF가 F라 하면
• P-value = $1 - F(T)$ (우측 검정의 경우)
• 귀무가설 하에서 T ~ F이므로, $F(T) \sim \text{Unif}(0,1)$
• 따라서 P-value도 Unif(0,1)을 따른다

이 성질 덕분에 "유의수준 α = 0.05에서 기각"이라는 것은 "P-value가 0.05 이하일 확률이 정확히 5%"라는 의미가 된다.

확률적분변환 (Probability Integral Transform)

$F(X) \sim \text{Unif}(0,1)$이라는 사실을 확률적분변환(PIT)이라 부르기도 한다.

이것은 통계학에서 모형 적합도 검정(goodness-of-fit test)에 활용된다:

• 데이터 $x_1, x_2, \ldots, x_n$이 분포 F를 따르는지 검정하고 싶다
• $u_i = F(x_i)$로 변환한다
• 만약 모형이 맞다면 $u_i$들은 Unif(0,1)에서 나온 것처럼 보여야 한다
• $u_i$들이 균등하게 퍼져 있는지 확인하면 된다 (히스토그램, KS 검정 등)

---

적용 조건과 한계

조건	비고
X는 연속 확률변수여야 함	이산분포에서는 F가 계단함수이므로 F(X)가 균등분포가 되지 않음
F는 순증가(strictly increasing)여야 함	F가 상수인 구간이 있으면 역함수가 유일하게 정의되지 않음
일반화: F가 순증가가 아닌 경우	일반화 역함수 $F^{-1}(u) = \inf\{x : F(x) \geq u\}$를 사용하면 방향 2는 여전히 성립

---

요약

$\boxed{\text{어떤 연속분포든} \xrightarrow{F} \text{Unif}(0,1) \xrightarrow{F^{-1}} \text{어떤 연속분포든}}$

• F를 씌우면: 아무 연속분포 → Unif(0,1)
• F⁻¹를 씌우면: Unif(0,1) → 아무 연속분포
• 균등분포는 모든 연속분포 사이의 "허브" 역할을 한다

정규분포 (nomal distribution)

• 정규분포는 연속확률분포 중 가장 폭넓게 이용하는 확률분포이다. 정규분포가 중요한 이유는 다음과 같다

  • 정규분포는 통계적 추정과 검정에서 매우 중요한 역할을 한다
  • 물리학적 또는 사회과학적 실험 결과의 대부분 자료가 정규분포 형태에 가깝다.
  • 중심극한정리를 이용하여 모든 확률분포를 정규분포로 가정할 수 있다.

• 확률변수 $X$의 확률밀도함수가 다음과 같을 때, 확률변수 $X$는 정규분포를 따른다고 하며 $N(\mu , {\sigma^2})$ 으로 표기한다. 이때 $\mu$ 는 평균이고 ${\sigma}^2$ 은 분산이다.

$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}$ $( -\infty < x < \infty)$

정규분포곡선의 성질

• 확률변수 $X$가 정규분포 $N(\mu , {\sigma^2})$을 따를 때, 확률변수 $X$의 분포함수는 다음과 같다.

$F(x) = P(X<=x) = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}} dt$

정규 분포는 모수 $\mu$ 와 $\sigma$에 의해 결정되며, 각각 평균이 $\mu_1$ , $\mu_2$ 이고 표준편차가 $\sigma_1$, $\sigma_2$ 인 두 정규분포는 다음과 같이 비교된다.

• $\mu_1 \neq \mu_2$ $\sigma_1 = \sigma_2$
  두 정규분포곡선은 중심 위치(평균값, 최빈값, 중앙값)가 다르지만 동일한 종 모양이다

• $\mu_1 = \mu_2$ , $\sigma_1 \neq\sigma_2$
  두 정규분포의곡선의 위치는 동일하지만 자료의 흩어진 정도(분산,표준편차)는 다르다

  • 이것은 당연히 평균값은 같고 최빈값과 중앙값도 같다는 것이다.

    • 중앙값 : 면적을 반으로 나누는 지점 -> 대칭이니까 여전히 $\mu$
    • 최빈값 : PDF가 최대인 지점 -> 꼭대기가 낮아지긴 하지만 위치는 여전히 $\mu$
      수식으로 확인해보자
    • $f(\mu) = \frac{1}{\sqrt{2\pi}\sigma}$
      표준편차가 바뀌면 꼭대기의 높이만 달라지는 것!!

• $\mu_1 \neq \mu_2$ $\sigma_1 \neq \sigma_2$
  두 정규분포곡선의 중심 위치와 흩어진 정도가 완전히 다르다.
  

정규분포에서 평균 $\mu$는 분포의 중심 위치를 나타내고, 표준편차 $\sigma$는 분포의 흩어진 정도, 즉 분포 모양을 결정한다고 할 수 있다. 그래서 $\mu$를 위치모수(location parmeter) , $\sigma$를 형상모수 (shape parameter) 라고도 한다.

표준정규분포 (standard normal distribution)

• 확률변수 $X$가 정규분포 $N(\mu , {\sigma^2})$을 따를 때, 표준화된 확률변수 $Z = \frac{X-\mu}{\sigma}$의 확률밀도함수는 다음과 같다.

$\phi(z) = \frac{1}{\sqrt{2\pi}}e^{-\frac{z^2}{2}}$ $( -\infty < x < \infty)$

이때 확률변수 $Z$가 표준정규분포를 따른다고 하고 $N(0,1)$로 표기한다.

• 평균
  $E(z) = E(\frac{X-\mu}{\sigma}) = \frac{1}{\sigma}(E(x)-\mu) = 0$

• 분산
  $Var(z) = Var(\frac{X-\mu}{\sigma}) = \frac{1}{\sigma^2}Var(X) = 1$

• 확률변수 $Z$가 표준정균분포 $N(0,1)$을 따를 때, 분포함수는 $\Phi(z)$로 나타내며 다음과 같이 정의한다.

  $\Phi(z) = P(Z<=z) = \int_{-\infty}^{x} \frac{1}{\sqrt{2\pi}}e^{-\frac{t^2}{2}} dt$
  

• $\Phi(z)$ 를 표준정규분포함수(standarad normal distribution function)라고 한다. 이때 $\phi(z)$ 가 $z = 0$에 대하여 좌우대칭으로 $\Phi(0) = \frac{1}{2}$이다.

• 확률변수 $Z$가 표준정규분포 $N(0,1)$을 따를 때, $Z$에 속한 각 $z_0$에 대하여 $\Phi(z_0)$의 값을 구해서 표로 작성한 것을 표준정규분포표(standarad normal distribution table) 라 한다
• 확률변수 $X$가 $N(\mu , {\sigma^2})$을 따를 때, 확률 $P(a<= X <= b)$ 는 다음과 같이 표준정규분포표 $N(0,1)$을 이용하면 편리하게 구할 수 있다.
  

$P(a \leq X \leq b) = P(\frac{a-\mu}{\sigma} \leq \frac{X-\mu}{\sigma} \leq \frac{b-\mu}{\sigma}) = P(z_a \leq X \leq z_b)$

$z_a =\frac{a-\mu}{\sigma}$ , $z_b =\frac{b-\mu}{\sigma}$ 이다. 정규분포와 표준정규분포의 관계를 그림으로 나타내면 다음과 같다

정규분포의 특수확률

정규분포를 따르는 $X$가 구간 $(\mu - \sigma, \mu + \sigma )$ , $(\mu - 2\sigma, \mu + 2\sigma )$, $(\mu - 3\sigma, \mu + 3\sigma )$ 에 들어갈 확률은 다음과 같이 구할 수 있다.

z- 점수

표준화 식 $Z = \frac{X - m}{\sigma}$ 을 통해 얻은 값을 $z - 점수$ 라고 한다. z-점수는 표주환 식 $\frac{X - m}{\sigma}$ 에서 표준편차로 나눈 값이므로 확률변수 X가 평균을 중심으로 표준편차의 몇 배만큼 떨어져 있는가를 나타냄

정규분포 PDF의 적분 = 1 증명 (가우시안 적분)

정규분포의 PDF가 유효한 확률밀도함수임을 증명하려면, 전체 실수 위에서 적분했을 때 1이 되는지 보여야 한다.
이 증명은 극좌표 변환(polar coordinates)을 사용하는 것으로 유명하다.

목표

표준정규분포 N(0,1)의 PDF는:

$\phi(z) = \frac{1}{\sqrt{2\pi}} e^{-z^2/2}$

이것이 유효한 PDF임을 보이려면:

$\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz = 1$

즉, 다음을 증명하면 된다:

$\boxed{I = \int_{-\infty}^{\infty} e^{-z^2/2} \, dz = \sqrt{2\pi}}$

---

Step 0: 왜 직접 적분이 안 되는가?

$e^{-z^2/2}$의 부정적분(antiderivative)이 초등함수로 존재하지 않는다.

즉, $\int e^{-z^2/2} dz$를 다항식, 지수함수, 삼각함수 등의 조합으로 표현할 수 없다.

그래서 트릭이 필요하다: 1차원 적분을 직접 계산하는 대신, 2차원으로 올려서 극좌표로 변환한다.

---

Step 1: I²을 생각하자

I를 직접 구하기 어려우니, I의 제곱을 먼저 구한다.

$I^2 = \left(\int_{-\infty}^{\infty} e^{-x^2/2} \, dx\right) \cdot \left(\int_{-\infty}^{\infty} e^{-y^2/2} \, dy\right)$

적분 변수가 다르므로 (하나는 x, 하나는 y) 이중적분으로 합칠 수 있다:

$I^2 = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} e^{-x^2/2} \cdot e^{-y^2/2} \, dx \, dy$

지수법칙 ($e^a \cdot e^b = e^{a+b}$)을 적용하면:

$I^2 = \int_{-\infty}^{\infty}\int_{-\infty}^{\infty} e^{-(x^2 + y^2)/2} \, dx \, dy$

핵심 관찰: 피적분함수가 $x^2 + y^2$, 즉 원점으로부터의 거리의 제곱에만 의존한다!
이것은 원 대칭(radial symmetry)이므로 극좌표가 자연스럽다.

---

Step 2: 극좌표 변환

직교좌표 (x, y)를 극좌표 (r, θ)로 변환한다:

$x = r\cos\theta, \quad y = r\sin\theta$

이때:

• $x^2 + y^2 = r^2$ (피타고라스)
• $dx \, dy = r \, dr \, d\theta$ ← 야코비안(Jacobian)이 r

야코비안 유도

좌표 변환의 야코비안은:

$J = \begin{vmatrix} \dfrac{\partial x}{\partial r} & \dfrac{\partial x}{\partial \theta} \\[6pt] \dfrac{\partial y}{\partial r} & \dfrac{\partial y}{\partial \theta} \end{vmatrix} = \begin{vmatrix} \cos\theta & -r\sin\theta \\ \sin\theta & r\cos\theta \end{vmatrix}$

$= r\cos^2\theta + r\sin^2\theta = r(\cos^2\theta + \sin^2\theta) = r$

따라서 $dx \, dy = |J| \, dr \, d\theta = r \, dr \, d\theta$

적분 범위 변환

• 직교좌표: 전체 평면 $(-\infty, \infty) \times (-\infty, \infty)$
• 극좌표: $r \in [0, \infty)$, $\theta \in [0, 2\pi)$

---

Step 3: 극좌표로 적분 계산

$I^2 = \int_0^{2\pi}\int_0^{\infty} e^{-r^2/2} \cdot r \, dr \, d\theta$

θ와 r이 완전히 분리되므로:

$I^2 = \left(\int_0^{2\pi} d\theta \right) \cdot \left(\int_0^{\infty} r \, e^{-r^2/2} \, dr\right)$

θ 적분 (간단)

$\int_0^{2\pi} d\theta = 2\pi$

r 적분 (치환)

$u = \dfrac{r^2}{2}$로 치환하면:

$du = r \, dr$

$r = 0 \implies u = 0, \quad r = \infty \implies u = \infty$

따라서:

$\int_0^{\infty} r \, e^{-r^2/2} \, dr = \int_0^{\infty} e^{-u} \, du = \left[-e^{-u}\right]_0^{\infty} = 0 - (-1) = 1$

핵심: 야코비안에서 나온 $r$이 $e^{-r^2/2}$의 $r \, dr$과 결합하여 $e^{-u} du$ 꼴로 깔끔하게 변환된다.
이것이 이 증명이 작동하는 핵심 이유이다!

---

Step 4: 결합

$I^2 = 2\pi \cdot 1 = 2\pi$

$I > 0$이므로 (피적분함수가 항상 양수):

$\boxed{I = \sqrt{2\pi}}$

---

Step 5: 원래 문제로 복귀

$\int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz = \frac{1}{\sqrt{2\pi}} \cdot I = \frac{1}{\sqrt{2\pi}} \cdot \sqrt{2\pi} = 1 \quad \blacksquare$

따라서 $\phi(z) = \frac{1}{\sqrt{2\pi}} e^{-z^2/2}$는 유효한 확률밀도함수이다.

---

일반 정규분포 N(μ, σ²)로의 확장

일반 정규분포의 PDF는:

$f(x) = \frac{1}{\sigma\sqrt{2\pi}} e^{-(x-\mu)^2/(2\sigma^2)}$

$z = \dfrac{x - \mu}{\sigma}$로 치환하면 $dz = \dfrac{dx}{\sigma}$이므로:

$\int_{-\infty}^{\infty} \frac{1}{\sigma\sqrt{2\pi}} e^{-(x-\mu)^2/(2\sigma^2)} \, dx = \int_{-\infty}^{\infty} \frac{1}{\sqrt{2\pi}} e^{-z^2/2} \, dz = 1$

즉, 표준정규분포에서 증명하면 일반 정규분포는 Location-Scale 변환으로 자동 확장된다.

---

정리

단계	아이디어
I → I²	1차원에서 풀 수 없으니 2차원으로 올린다
x², y² → x²+y² = r²	지수 안에 원 대칭 구조가 숨어 있다
직교 → 극좌표	원 대칭 함수에 극좌표를 쓰면 변수가 분리된다
야코비안 r	r·e^{-r²/2} dr 꼴이 되어 간단한 치환으로 풀린다
I² → I	제곱근을 취하면 끝

1차원 적분을 직접 계산할 수 없는 것을 2차원으로 올린 뒤 극좌표의 대칭성으로 해결하는,
수학에서 가장 아름다운 증명 중 하나로 꼽힌다.

감마분포 (gamma distribution)

$\alpha > 0$ , $\beta > 0$ 에 대하여 확률변수 $X$의 확률밀도함수(PDF)가 다음과 같을 때, 확률변수 X는 감마분포를 따른다고 하며 $G(\alpha, \beta)$로 표기한다.

확률밀도함수 (PDF)

감마함수

주요성질

• $\Gamma(1) = \displaystyle\int_0^{\infty} e^{-x} \, dx = 1$

• $\alpha$가 양의 정수이면 $\Gamma(\alpha) = (\alpha - 1)!$

• $\Gamma\!\left(\dfrac{1}{2}\right) = \sqrt{\pi}$

적률생성함수 $M_x(t)$

$X \sim G(\alpha, \beta)$일 때, $X$의 적률생성함수 $M_X(t)$는 다음과 같다.

감마분포의 평균과 분산

$\alpha , \beta$ 값에 대하여 감마분포의 확률밀도함수의 그래프

지수분포 (exponential distribution)

확률변수 $X$의 확률밀도함수(PDF)가 다음과 같을 때, 확률변수 $X$는 모수 $\theta$ ($\theta >0)$인 지수분포를 따른다고 한다.

한편, 감마분포의 확률밀도함수 식에서 $\alpha = 1$, $\beta = \theta$라 하며 지수분포의 확률밀도함수와 일치하므로 지수분포가 감마분포의 특수한 경우임을 알 수 있다. 그래서 지수분포는 $G(1,\theta)$ 또는 $Exp(\theta)$로 표기한다.

확률변수 $X$가 지수분포를 따르면 확률변수 $X$의 분포함수(CDF)는 다음과 같다.

적률생성함수 (MGF)

감마분포의 MGF $(1 - \beta t)^{-\alpha}$에서 $\alpha = 1$, $\beta = \theta$를 대입하면 바로 얻어진다.

평균과 분산

확률변수 $X$가 지수분포 $G(1,\theta)$를 따른다고 할 때, 확률변수 $X$의 평균과 분산은 감마분포에서 $\alpha = 1, \beta = \theta$ 인 경우 다음과 같이 구한다.

지수분포의 무기역성 (memroylessness property)

확률변수 $X$가 지수분포 $G(1,\theta)$를 따른다면 임의의 양의 정수 a,b에 대하여 다음과 같은 무기억성을 갖는다
$P(X>a+b | X>b) = P(X>a)$
이는 b시간을 초과해야 사건이 발생한다고 할 때, (a+b) 시간을 초과해야 사건이 발생할 확률은 처음부터 a시간을 초과해야 사건이 발생할 확률과 같음을 의미한다.

$P(X \ge a+b| X \ge a) = \frac{P(X \ge a+b| X \ge a)}{P(X \ge a)} = \frac{e^-\lambda (a+b)}{e^-\lambda} = e^{-\lambda} =P(x \ge b)$

베타분포 (beta distribution)

$\alpha > 0$ , $\beta > 0$ 에 대하여 확률변수 $X$의 확률밀도함수(PDF)가 다음과 같을 때, 확률변수 X는 베타분포를 따른다고 하며 $Be(\alpha, \beta)$로 표기한다.

확률밀도함수(PDF)

여기서 $\Beta(\alpha, \beta) = \int_{0}^{1} x^{\alpha-1}(1-x)^{\beta -1} dx$ 로 정의되는 베타함수(beta function) 은 다음과 같이 계산한다.

$B(\alpha,\beta) = \frac{\Gamma(\alpha)\Gamma(\beta)}{\Gamma(\alpha+\beta)}$

베타분포는 제품의 불량률이나 총 작업 시간 중 휴업한 시간의 비율등과 같은 비율에 대한 모형으로 많이 사용한다. 특별한 $\alpha$ ,$\beta$ 값에 대하여 베타분포의 확률밀도함수의 그래프는 다음과 같다.

베타분포의 평균과 분산은 다음과 같이 구한다.

확률변수 $X$가 베타분포 $Be(\alpha,\beta)$ 를 따를 때, 확률변수 $X$의 기댓값과 분산
은 다음과 같다.

평균 : $E(X) = \frac{\alpha}{\alpha +\beta}$

분산 : $V(X) = \frac{\alpha\beta}{(\alpha + \beta + 1)(\alpha+\beta)^2}$

확률분포의 근사 관계

이항분포에서 정규분포로의 근사 관계

이항분포 $B(n,p)$ 에서 $p$ 또는 $q(=1-p)$의 값이 0 또는 1에 가깝지 않으면서 동시에 n = 20 정도이면, 이 이항분포는 정규분포로 근사한다. 또는 $p$ 또는 $q$가 0에 가까운 값인 경우라도 $n$값이 상당히 크면 정규분포로 근사한다. 이러한 관계를 이항분포의 정규분포 근사라고 한다.

실제로 확률변수 $X$가 이항분포 $B(n,p)$를 따를 때, $n$이 충분히 크면 확률변수 $X$는 평균이 $\mu = np$이고 분산이 $\sigma^2 = npq$인 정규분포 $N(np,npq)$ 에 가까워진다. 따라서 이항분포 $B(n,p)$를 따르는 확률변수 $X$에 대하여 다음과 같은 확률변수 $Z$는 표준정규분포 $N(0,1)$에 근사하여 따르게 된다.

$Z = \frac{X-np}{\sqrt{npq}}$

이항분포의 확률을 정규분포로 근사하여 구할 때 유의할 점은 이항분포가 이산확률분포이고, 정규분포가 연속확률분포라는 것이다. 이러한 경우에는 먼저 다음과 같은 연속성 수정(correction for continuity) 을 해야 한다. 즉 확률변수 $X$가 이항분포 $B(n,p)$를 따를 때 임의 정수 $k$에 대하여 다음과 같이 수정하여 확률을 계산한다. 단, $k$값이 크면 수정하지 않아도 된다.

$P(X=k) = P(k-0.5 \leq X \le k+0.5)$

교재에는 이런식으로 나와있지만 엄밀하지 않음

연속성 수정의 보정량은 $±0.5$

$±0.5$ 로 고정인데, 표준화하면 이게 $\frac{0.5}{\sqrt{np(1-p)}}$

만큼의 차이가 되는 것. 그러니까 $\sqrt{np(1-p)}$

$np(1−p)$가 클수록 0.5의 영향이 무시할 만해지는 것이다.

n이 충분히 커서 $\sqrt{np(1-p)}$

$np(1−p)$가 크면 0.5 보정의 상대적 영향이 사라진다는 뜻이다
n이 수백 이상이면 거의 신경 안 써도 되고,
n이 30~50 수준이면 연속성 수정하는 게 더 낫다고 한다.

푸아송분포에서 정규분포로의 근사 관계

푸아송분포에서 $m > 5$ 이고 $\mu = m , \sigma^2 = m$ 일때, 이 분포는 정규분포로 근사 할 수 있다.

푸아송과 이항분포의 연결 (Connections between Poisson and Binomial)

포아송 분포와 이항분포는 서로 긴밀하게 연결되어 있다.

• 포아송 → 이항: 조건부(conditioning)를 걸면 이항분포가 나온다
• 이항 → 포아송: 극한(limit)을 취하면 포아송 분포가 나온다

이 관계는 이항분포와 초기하분포의 관계와 정확히 평행한 구조이다.

독립 포아송의 합 (기초 도구)

정리

$X \sim \text{Pois}(\lambda_1), \quad Y \sim \text{Pois}(\lambda_2), \quad X \perp Y$

$\Rightarrow \quad X + Y \sim \text{Pois}(\lambda_1 + \lambda_2)$

포아송의 재생성(reproductive property): 독립인 포아송 확률변수의 합은 다시 포아송이다.

증명

전체확률의 법칙(law of total probability)으로 X에 대해 조건부를 건다:

$P(X + Y = k) = \sum_{j=0}^{k} P(X + Y = k \mid X = j) \cdot P(X = j)$

$X = j$가 주어지면 $X + Y = k$이려면 $Y = k - j$여야 하고, X와 Y는 독립이므로:

$= \sum_{j=0}^{k} P(Y = k-j) \cdot P(X = j)$

각 PMF를 대입하면:

$= \sum_{j=0}^{k} \frac{e^{-\lambda_2} \lambda_2^{k-j}}{(k-j)!} \cdot \frac{e^{-\lambda_1} \lambda_1^{j}}{j!}$

$= \frac{e^{-(\lambda_1 + \lambda_2)}}{k!} \sum_{j=0}^{k} \binom{k}{j} \lambda_1^{j} \lambda_2^{k-j}$

마지막 합은 이항정리(binomial theorem)에 의해 $(\lambda_1 + \lambda_2)^k$이므로:

$= \frac{e^{-(\lambda_1 + \lambda_2)} (\lambda_1 + \lambda_2)^k}{k!}$

이것은 $\text{Pois}(\lambda_1 + \lambda_2)$의 PMF이다. $\blacksquare$

직관

두 종류의 사건이 각각 비율 $\lambda_1$, $\lambda_2$로 독립적으로 발생하면, 전체 사건 발생 비율은 $\lambda_1 + \lambda_2$이다. 당연한 이야기!

---

포아송 → 이항 (조건부를 걸면)

정리

$X \sim \text{Pois}(\lambda_1), \quad Y \sim \text{Pois}(\lambda_2), \quad X \perp Y$

$\Rightarrow \quad X \mid (X + Y = n) \sim \text{Bin}\!\left(n, \; \frac{\lambda_1}{\lambda_1 + \lambda_2}\right)$

독립인 두 포아송의 합이 n으로 고정되면, 각각의 기여분은 이항분포를 따른다.

증명

베이즈 정리를 사용한다:

$P(X = k \mid X + Y = n) = \frac{P(X + Y = n \mid X = k) \cdot P(X = k)}{P(X + Y = n)}$

$X = k$가 주어지면 $X + Y = n$이려면 $Y = n - k$이어야 하므로:

$= \frac{P(Y = n - k) \cdot P(X = k)}{P(X + Y = n)}$

각 PMF를 대입한다. 분모에서 $X + Y \sim \text{Pois}(\lambda_1 + \lambda_2)$ (정리)을 사용:

$= \frac{\dfrac{e^{-\lambda_2} \lambda_2^{n-k}}{(n-k)!} \cdot \dfrac{e^{-\lambda_1} \lambda_1^{k}}{k!}}{\dfrac{e^{-(\lambda_1 + \lambda_2)} (\lambda_1 + \lambda_2)^n}{n!}}$

분자의 $e^{-\lambda_1} \cdot e^{-\lambda_2}$와 분모의 $e^{-(\lambda_1 + \lambda_2)}$가 소거:

$= \frac{n!}{k!(n-k)!} \cdot \frac{\lambda_1^{k} \lambda_2^{n-k}}{(\lambda_1 + \lambda_2)^n}$

$= \binom{n}{k} \left(\frac{\lambda_1}{\lambda_1 + \lambda_2}\right)^k \left(\frac{\lambda_2}{\lambda_1 + \lambda_2}\right)^{n-k}$

$p = \dfrac{\lambda_1}{\lambda_1 + \lambda_2}$로 놓으면 이것은 $\text{Bin}(n, p)$의 PMF이다. $\blacksquare$

직관

전체 사건이 n번 발생했다는 것을 알고 있을 때, 각 사건이 "타입 1"(비율 $\lambda_1$)인지 "타입 2"(비율 $\lambda_2$)인지는 독립적으로 확률 $\frac{\lambda_1}{\lambda_1 + \lambda_2}$로 결정된다. n번의 독립 시행에서 "성공" 횟수 → 이항분포!

---

이항 → 포아송 (극한을 취하면)

정리 (포아송 근사)

$X \sim \text{Bin}(n, p), \quad n \to \infty, \quad p \to 0, \quad \lambda = np \text{ 고정}$

$\Rightarrow \quad X \xrightarrow{d} \text{Pois}(\lambda)$

n이 크고, p가 작고, np가 적당한 값이면, 이항분포를 포아송으로 근사할 수 있다.

증명

$p = \lambda / n$을 대입하고 $n \to \infty$에서의 극한을 취한다:

$P(X = k) = \binom{n}{k} p^k (1-p)^{n-k}$

$= \frac{n(n-1)\cdots(n-k+1)}{k!} \left(\frac{\lambda}{n}\right)^k \left(1 - \frac{\lambda}{n}\right)^{n-k}$

세 부분으로 나누어 정리:

$= \frac{\lambda^k}{k!} \cdot \underbrace{\frac{n(n-1)\cdots(n-k+1)}{n^k}}_{\to \, 1} \cdot \underbrace{\left(1 - \frac{\lambda}{n}\right)^n}_{\to \, e^{-\lambda}} \cdot \underbrace{\left(1 - \frac{\lambda}{n}\right)^{-k}}_{\to \, 1}$

$n \to \infty$일 때:

• $\dfrac{n(n-1)\cdots(n-k+1)}{n^k} = 1 \cdot \left(1 - \frac{1}{n}\right) \cdots \left(1 - \frac{k-1}{n}\right) \to 1$ (k는 고정)

• $\left(1 - \dfrac{\lambda}{n}\right)^n \to e^{-\lambda}$ (복리 공식: $\lim_{n\to\infty}\left(1 - \frac{c}{n}\right)^n = e^{-c}$)

• $\left(1 - \dfrac{\lambda}{n}\right)^{-k} \to 1$ (k 고정, n → ∞이므로 밑이 1에 수렴)

따라서:

$P(X = k) \to \frac{e^{-\lambda} \lambda^k}{k!}$

이것은 $\text{Pois}(\lambda)$의 PMF이다. $\blacksquare$

근사 오차 한계

$X \sim \text{Bin}(n, p)$, $N \sim \text{Pois}(np)$일 때, 임의의 집합 B에 대해:

$|P(X \in B) - P(N \in B)| \leq \min(p, \; np^2)$

p가 작을수록 근사가 정확하다!

---

전체 구조 요약

$\boxed{\text{Pois}(\lambda_1) + \text{Pois}(\lambda_2) = \text{Pois}(\lambda_1 + \lambda_2)}$

$\boxed{\text{Pois} \xrightarrow{\text{조건부 (합 고정)}} \text{Bin}}$

$\boxed{\text{Bin} \xrightarrow{n \to \infty, \; p \to 0, \; np = \lambda} \text{Pois}}$

방향	방법	핵심 도구
포아송의 합	독립 포아송의 합은 포아송	전체확률법칙 + 이항정리
포아송 → 이항	합을 고정하고 조건부	베이즈 정리 + 포아송 합 정리
이항 → 포아송	n → ∞, p → 0, np 고정	복리 공식의 극한

---

왜 이 관계가 중요한가

• 실전 계산: n이 크고 p가 작은 이항분포 문제를 포아송으로 근사하면 계산이 훨씬 간단해진다
• 모델링 관점: 포아송 과정에서 "총 사건 수가 n"이라는 조건을 걸면, 각 사건의 분류가 이항분포를 따른다는 것은 자연스럽다
• 초기하분포와의 평행 구조: 이항 ↔ 초기하 관계(비복원 → 복원의 극한)와 이항 ↔ 포아송 관계(이산 → 연속 시간의 극한)가 구조적으로 유사하다