Discrete Distribution

Discrete probability distribution 중 자주 만나게 되는 3가지 분포에 대해서 설명하는 글이다.

• Poission distribution은 다른 게시글에서 exponential distribution과 함께 다룰 예정.

베르누이 분포 (Bernoulli Distribution)

한 번의 시행에서 두 가지 결과(성공과 실패) 중 하나만 나올 수 있는 경우를 모델링하는 확률 분포

• 정의: 베르누이 시행은 성공 확률 $p$와 실패 확률 $1-p$를 가지는 단일 시행입니다.

확률 질량 함수(PMF):

여기서 $X$는 베르누이 확률 변수로, $X = 1$은 성공, $X = 0$ 은 실패

• 기대값(Mean): $\mathbb{E}[X] = p$
• 분산(Variance): $\text{Var}(X) = p(1 - p)$

---

이항 분포 (Binomial Distribution)

독립적이고 동일한 베르누이 시행을 $n$번 반복했을 때 성공 횟수에 대한 분포

• i.e., 여러 번의 베르누이 시행의 합으로 이해할 수 있습니다.
• 정의: 각 시행이 성공할 확률이 $p$인 베르누이 시행을 $n$번 반복하여 성공한 횟수를 모델링하는 분포

확률 질량 함수(PMF):

• 기대값(Mean): $\mathbb{E}[X] = np$
• 분산(Variance): $\text{Var}(X) = np(1 - p)$

---

다항 분포 (Multinomial Distribution)

다항 분포는 이항 분포를 확장하여, 각 시행에서 결과가 여러 가지 범주 중 하나로 나타나는 경우를 모델링

• 즉, 1 또는 0 뿐이었던 이항분포의 범주가 확장된 형태

각 범주는 특정 확률을 가지며, 여러 번의 시행을 통해 각 범주에 해당하는 횟수를 모델링

• 정의: $k$개의 범주로 나누어진 시행을 $n$번 반복했을 때, 각 범주에 해당하는 횟수를 모델링하는 분포

확률 질량 함수(PMF):

여기서 $\sum_{i=1}^k x_i = n$이고, 각 $p_i$는 범주 $i$에 대한 확률로 $\sum_{i=1}^k p_i = 1$.

• 또한 $0 \leq x_i \leq n$

• 기대값(Mean): $\mathbb{E}[X_i] = np_i \quad\text{for} \ \ i = 1, 2, \ldots, k$
• 분산(Variance): $\text{Var}(X_i) = np_i (1 - p_i)$
• 공분산(Covariance): $\text{Cov}(X_i, X_j) = -np_i p_j \quad \text{for} \ \ i \neq j$