Lecture 12: Discrete vs. Continuous, the Uniform | Statistics 110

이산분포와 연속분포

지금까지는 이항분포, 포아송분포, 초기하분포 등 이산분포(Discrete distribution)를 배웠다.

이제 연속분포(Continuous distribution)를 배운다.

연속분포의 많은 개념은 이산분포와 대응된다.

이산분포	연속분포
확률변수 $X$	확률변수 $X$
PMF	PDF
CDF	CDF
합 $\sum$	적분 $\int$
$E(X)=\sum xP(X=x)$	$E(X)=\int xf(x)\,dx$
$\operatorname{Var}(X)$	$\operatorname{Var}(X)$

핵심은 이산분포에서 합으로 계산하던 것을 연속분포에서는 적분으로 계산한다는 것이다.

---

PMF와 PDF

이산분포: PMF

이산확률변수에서는 확률질량함수(PMF, Probability Mass Function)를 사용한다.

확률변수 $X$가 정확히 $x$의 값을 가질 확률이다.

예를 들어 $X$가 양의 정수만 가질 수 있다면, $P(X=1),P(X=2),P(X=3),\cdots$와 같이 각각의 값에 확률이 대응한다.

---

연속분포: PDF

연속확률변수에서는 특정한 한 점을 가질 확률이 0이다.

예를 들어 $X$가 $0$과 $1$ 사이의 모든 실수 중 하나를 가질 수 있다고 하자.

$0.5$, $\pi/4$ 등 특정한 하나의 값을 정확히 가질 확률은 모두 $0$이다.

따라서 연속분포에서는 PMF 대신 확률밀도함수(PDF, Probability Density Function)를 사용한다.

보통 $f_X(x)$ 또는 간단하게 $f(x)$로 쓴다.

중요한 점은 PDF 자체는 확률이 아니다. PDF는 확률밀도(density)를 나타낸다.

---

확률밀도와 확률의 관계

확률을 질량이라고 생각하면 직관적이다.

• 이산분포 → 조약돌
• 연속분포 → 진흙

이산분포에서는 각각의 조약돌에 질량이 존재하고, 모든 질량을 더하면 $1$이 된다.

연속분포에서는 진흙이 연속적으로 퍼져 있고, 전체 질량이 $1$이다.

따라서 PDF의 값 자체가 확률이 아니라, PDF를 특정 구간에서 적분한 값이 확률이다.

즉, 확률밀도를 적분하면 확률이 된다.

---

왜 $P(X=x)=0$인가?

특정한 하나의 값은 길이가 $0$인 구간으로 생각할 수 있다.

그래프에서 보면 $x$ 하나만 선택하는 것은 폭이 $0$인 구간의 넓이를 구하는 것과 같다.

따라서 넓이가 $0$이 된다.

반면 길이가 있는 구간에서는 넓이가 생기므로 확률이 생긴다.

---

PDF의 직관적 의미

어떤 지점 $x_0$에서 PDF의 값이 $f(x_0)$라고 하자. $f(x_0)$ 자체는 확률이 아니다.

하지만 $x_0$ 주변의 아주 작은 길이 $\varepsilon$의 구간을 생각하면, 다음과 같다.

왜냐하면 $\varepsilon$이 매우 작다면 그 구간에서 $f(x)$가 거의 변하지 않기 때문이다.

따라서 작은 구간에서는

가 된다.

즉, $f(x_0)\times\varepsilon$을 통해 density scale에서 probability scale로 변환할 수 있다.

단, 정확한 확률은 항상 적분으로 계산한다.

---

PDF가 유효하기 위한 조건

PMF에서는

1. 모든 확률이 음수가 아니어야 하고
2. 전체 확률의 합이 $1$이어야 한다.

PDF에서도 비슷하다.

1. 음수가 아니어야 한다.

2. 전체 넓이가 $1$이어야 한다.

따라서 PDF가 되기 위한 핵심 조건은 다음과 같다.

PDF의 값 자체는 확률이 아니기에, $1$보다 클 수도 있다.

---

CDF와 PDF

CDF는 이산분포와 연속분포 모두에서 사용할 수 있는 매우 일반적인 개념이다.

CDF의 정의는 $F_X(x)=P(X\le x)$이다.

여기서 아래첨자 $X$는 어떤 확률변수의 CDF인지 나타낸다.

---

PDF → CDF

연속확률변수 $X$의 PDF가 $f$라면,

이고, $X$가 $x$ 이하일 확률은 $-\infty$부터 $x$까지의 넓이이므로 다음과 같다.

즉,

이다.

---

CDF → PDF

반대로 연속확률변수의 CDF $F_X(x)$를 알고 있다면 PDF는 미분해서 얻을 수 있다.

왜냐하면

이고, 미적분학의 기본정리(FTC, Fundamental Theorem of Calculus)에 의해 미분하면 원래 함수 $f(x)$가 나오기 때문이다.

따라서

---

연속분포에서 구간의 양 끝점

이산분포에서는 $P(a\le X\le b),\quad P(a<X<b)$에서 양 끝점을 포함하는지가 중요하다.

하지만 연속분포에서 $P(X=a)=P(X=b)=0$이므로 결과가 같다.

따라서

이고,

이다.

즉, 연속분포에서는 구간의 양 끝점을 포함하는지 여부가 확률에 영향을 주지 않는다.

---

이산분포와 연속분포의 기대값

이산분포에서는 $E(X)=\sum_x xP(X=x)$였다.

연속분포에서는 특정 값의 확률 $P(X=x)$가 모두 $0$이므로 합 대신 적분을 사용한다.

따라서

만약 $X$가 $0$과 $1$ 사이에서만 값을 가진다면, 다음과 같이 실제 범위에서만 적분해도 된다.

---

분산과 표준편차

기대값은 분포의 중심을 나타내지만, 분포가 얼마나 퍼져 있는지(spread)는 알려주지 않는다.

이를 나타내기 위해 분산(Variance)을 사용한다.

평균에서 얼마나 떨어져 있는지를 생각하면 $X-E(X)$가 된다.

하지만 $E(X-E(X))=0$이므로 단순히 평균을 내면 항상 $0$이 된다.

그래서 차이를 제곱한다.

즉 분산은 평균으로부터 떨어진 거리의 제곱의 평균이다.

---

왜 절댓값 대신 제곱을 사용하는가?

절댓값을 사용하면 $E(|X-E(X)|)$를 생각할 수도 있다.

하지만 절댓값 함수는 $0$에서 미분하기 어렵고 수학적으로 다루기 불편하다.

반면 제곱은 미분하기 쉽고, 기하학적으로도 유클리드 거리 및 피타고라스 정리와 연결되는 좋은 성질을 가진다.

단점은 단위가 바뀐다는 것이다.

예를 들어 $X$의 단위가 mile이라면 $\operatorname{Var}(X)$의 단위는 $\text{mile}^2$가 된다.

그래서 표준편차(Standard Deviation)를 사용한다.

표준편차는 다시 원래 단위로 돌아오기 때문에 해석하기 편하다.

---

분산의 계산 공식

분산의 정의는 다음과 같다.

이를 전개하고 풀어보면 다음과 같다.

따라서

이다.

여기서 매우 중요한 차이가 있다.

일반적으로 제곱을 먼저 하고 기대값을 구하는 것과 기대값을 구한 뒤 제곱하는 것은 다르다.

또한 관습적으로 $EX^2=E(X^2)$라고 표기한다.

---

분산은 항상 음이 아닌가?

분산의 정의에서 $(X-E(X))^2\ge0$이므로 그 기대값도 음수가 될 수 없다.

따라서 $\operatorname{Var}(X)\ge0$이다.

그리고 $X$가 상수일 때만 $\operatorname{Var}(X)=0$이다.

즉, $X$가 변하지 않는 상수라면 모든 값이 평균과 같으므로 퍼짐이 없다.

---

균등분포 Uniform Distribution

연속분포의 가장 간단한 예가 균등분포(Uniform distribution)이다.

$X$가 $a$와 $b$ 사이에서 균등하게 선택된다고 하자.

균등하다는 것은 단순히 "각 숫자가 나올 확률이 같다"는 뜻으로 생각하면 안 된다.

연속분포에서는 특정한 한 점이 나올 확률이 모두 $0$이기 때문이다.

대신, 같은 길이의 구간은 같은 확률을 가지며, 구간의 확률은 그 구간의 길이에 비례한다.

즉, $\text{확률}\propto\text{구간의 길이}$이다.

예를 들어 어떤 구간의 길이가 다른 구간의 2배라면, 그 구간이 선택될 확률도 2배가 된다.

---

균등분포의 PDF

균등분포에서는 $a$와 $b$ 사이에서 확률밀도가 일정해야 한다.

따라서 PDF는

형태이다.

전체 적분값이 $1$이어야 하므로 $\int_a^b c\,dx=1$이고,$c(b-a)=1$이 성립해야한다.

따라서 $c=\frac1{b-a}$이다.

따라서 균등분포의 PDF는

이다.

즉, 구간의 길이가 길수록 전체 넓이를 $1$로 만들기 위해 PDF의 높이는 낮아진다.

---

균등분포의 CDF

CDF는 $F_X(x)=P(X\le x)$이다.

균등분포에서는 $x$의 위치에 따라 세 경우로 나누어진다.

1. $x<a$

$X$는 항상 $a$ 이상이므로 $F_X(x)=0$이다.

2. $a\le x\le b$

$a$부터 $x$까지의 넓이를 구한다. PDF의 높이는 $\frac1{b-a}$이므로 $F_X(x)=\int_a^x\frac1{b-a}\,dt$

따라서 $F_X(x)=\frac{x-a}{b-a}$이다.

3. $x>b$

$X$는 항상 $b$ 이하이므로 $F_X(x)=1$이다.

따라서 전체 CDF는 다음과 같다.

$a$에서 CDF는 $0$이고 $b$에서 $1$이 된다.

$a$와 $b$ 사이에서는 1차 함수처럼 선형적으로 증가한다.

---

균등분포의 기대값

연속분포의 기대값 공식에 따라 $E(X)=\int_a^b xf(x)\,dx$이다.

균등분포에서는 $f(x)=\frac1{b-a}$이므로 다음과 같다.

적분하면 $E(X)=\frac1{b-a}\left[\frac{x^2}{2}\right]_a^b = \frac{b^2-a^2}{2(b-a)}$이고, $b^2-a^2=(b-a)(b+a)$이므로 다음과 같다.

즉, 균등분포의 기대값은 구간의 중간값이다.

---

LOTUS: Law of the Unconscious Statistician

분산을 계산하려면 $\operatorname{Var}(X)=E(X^2)-[E(X)]^2$이므로 $E(X^2)$를 구해야 한다.

처음에는 $Y=X^2$라는 새로운 확률변수를 만들고 $Y$의 PDF를 구해야 할 것처럼 보인다.

하지만 Y의 PDF를 굳이 구할 필요가 없다.

이때 사용하는 것이 LOTUS (Law of the Unconscious Statistician)이다.

---

연속확률변수에서의 LOTUS

$X$의 PDF가 $f_X(x)$이고 $g(X)$의 기대값을 구하고 싶다면, 다음과 같다.

즉, $g(X)$의 PDF를 직접 구하지 않고, 원래 $X$의 PDF를 그대로 사용하면 된다.

예를 들어 $E(X^2)$를 구하고 싶다면, 다음과 같다.

따라서 $Y=X^2$의 PDF를 따로 구할 필요가 없다.

---

이산분포에서의 LOTUS

이산분포에서도 같은 아이디어가 있다.

즉, $g(X)$의 PMF를 구할 필요 없이 원래 $X$의 PMF에 $g(x)$만 곱하면 된다.

---

$U\sim\operatorname{Unif}(0,1)$의 분산

$U\sim\operatorname{Unif}(0,1)$을 생각하자.

PDF는 $f_U(u)=1,0\le u\le1$이고, 기대값은 $E(U)=\frac12$ 이다.

LOTUS를 사용하면 $U^2$의 PDF를 구하지 않고 바로 $E(U^2)=\int_0^1u^2f_U(u)\,du$로 계산할 수 있다.

$f_U(u)=1$이므로 $E(U^2)=\int_0^1u^2\,du=\frac13$이다.

따라서

---

균등분포는 왜 전체 실수에서 정의할 수 없는가?

균등분포에서는 PDF가 어떤 구간에서 일정한 상수이다.

예를 들어 $a$에서 $b$까지만 균등하면 $f(x)=\frac1{b-a}$이다.

그런데 모든 실수에서 균등하다고 생각해보자.

그러면 모든 실수에서 같은 상수 $c$를 가져야 한다.

하지만 $\int_{-\infty}^{\infty}c\,dx$는 어떤 양의 상수 $c$에 대해서도 무한대가 된다.

따라서 전체 적분을 $1$로 만들 수 없다.

즉 균등분포는 반드시 제한된 범위가 필요하다.

---

$U\sim\operatorname{Unif}(0,1)$의 보편성

$0$과 $1$ 사이의 균등분포는 특별한 역할을 한다.

하나만 가지고도 원칙적으로 원하는 다른 연속분포를 생성할 수 있다.

이것을 균등분포의 보편성(Universality)이라고 볼 수 있다.

컴퓨터에서 난수를 생성할 때도 중요한 아이디어이다.

컴퓨터가 직접 원하는 복잡한 분포에서 난수를 생성하기 어려워도,

1. $0$과 $1$ 사이의 균등 난수 $U$를 생성하고
2. 적절한 변환을 적용하여
3. 원하는 분포를 따르는 확률변수를 만들 수 있다.

---

역변환을 이용한 분포 생성

원하는 CDF를 $F$라고 하자.

$U\sim\operatorname{Unif}(0,1)$이고 $F$가 연속적이며 강한 증가(strictly increasing)한다고 가정하자.

그러면 $F^{-1}$이 존재한다.

이때 $X=F^{-1}(U)$라고 정의하면 $X$는 CDF가 $F$인 분포를 따른다.

즉, $X\sim F$이다.

원하는 CDF의 역함수에 균등분포 난수를 넣으면 원하는 분포를 만들 수 있다.

---

왜 $X=F^{-1}(U)$가 원하는 분포를 만드는가?

$X$의 CDF를 직접 구해보자.

$P(X\le x)$ 에서 $X=F^{-1}(U)$이므로 $P(F^{-1}(U)\le x)$가 된다.

$F$가 증가함수이므로 양변에 $F$를 적용하면 $P(U\le F(x))$가 된다.

그런데 $U\sim\operatorname{Unif}(0,1)$이고 $F(x)$가 CDF이므로 $0\le F(x)\le1$이다. 따라서 $U$가 $0$부터 $F(x)$까지 있을 확률은 그 구간의 길이와 같으므로 $P(U\le F(x))=F(x)$이다.

즉, $X$의 CDF가 정확히 $F$이므로 $X\sim F$이다.