이산형 확률분포

베르누이 확률변수와 이항분포

Bernoulli Random Variables

결과값이 성공과 실패로 나누어지는 실험을 한 번 수행했다고 가정하자. 결과값이 성공일 경우 $X=1$, 실패일 경우 $X=0$이라고 하자. 성공 확률을 $P$라 할 때, 확률질량함수(pmf)가 다음과 같은 확률변수를 베르누이 확률변수라 한다.

• Probability mass function: $p(x)=P(X=x)=p^x(1-p)^{1-x} \quad x=0,1$
• $E(X)=0\times(1-p)+1\times p=p$
  • $E(X^n)$을 $X$의 $n$번째 moment라고 하며, $E\Big((X-E[X])^n\Big)$을 $n$번째 central moment라고 한다.
  • Moment generating function $M_X(t)=E(X^k)=\sum_{x=0}^1x^kp^kq^{1-k}$
• $Var(X)=p(1-p)$

Binomial Distribution

베르누이 시행을 $n$번 반복했을 때 $\{X_1,\dots,X_n\}$ 성공의 횟수를 이항 확률변수라고 한다. 각각의 $X$가 1의 값을 가질 확률을 $p$라 한다면 $X=X_1+\cdots+X_n$은 모수 $n$과 $p$를 갖는 이항분포를 가지며 $X\sim B(n,p)$로 나타낸다. (모수란 모집단 확률분포의 형태을 규정짓는 값을 의미한다.)

• $\sum_{x=0}^{n}{n\choose x}p^x(1-p)^{n-x}=1$
• 독립적인 베르누이 시행의 합으로 이항 확률변수를 고려해보면, $X=X_1+\dots,X_n$이므로
  $E(X)=E(X_1)+\cdots E(X_n)=np$
  $Var(X)=Var(X_1)+\dots Var(X_n)=np(1-p)$
• $B(n,0.5)$ 분포는 모수 $n$의 기대값 $\frac{n}{2}$에 대하여 좌우대칭인 좌우대칭분포이다.

기하분포(Geometric Distribution)

성공확률 $p$를 가지는 일련의 독립 베르누이 시행 시, 첫 번째 성공이 발생할 때까지 실시해야만 하는 총 시행 횟수를 확률변수로 갖는 분포를 기하분포라고 한다. 기하분포의 모수는 성공 확률인 $p$이다. 성공이 발생할 때까지 반복한 횟수가 $x$이면 확률은 다음과 같다.

• $E(X)=\frac{1}{p}$
• $Var(X)=\frac{1-p}{p^2}$
• $P(X>x)=(1-p)^xp+(1-p)^{x+1}p+\cdots=p(1-p)^x\Big(1+(1-p)+(1-p)^2+\cdots\Big)=(1-p)^x$
• $P(X>n+x|X>n)=\frac{P(X>n+x)}{P(X>n)}=P(X>x)$
  • 이 수식을 만족하는 성질을 무기억 특성이라고 한다. 이전까지 시행된 결과가 다음 시행 확률에 영향을 주지 않는 것을 말한다.
    기하분포는 무기억 특성을 갖는 유일한 이산형 분포이다.

음이항분포(Negative Binomial Distribution)

성공확률이 $p$인 베르누이 실험을 $r$번째 성공이 발생할 때까지 수행한 횟수의 분포를 음이항분포라고 하며 $X\sim NB(r, p)$로 나타낸다. 이때 $X$는 모수가 $p, r$이며, 성공 횟수는 이항분포를 따른다.

$X_i$가 $i$번째 성공이 나올 때까지 총 시행 회수를 의미할 때 독립적인 기하분포의 합 $X=X_1+\cdots+X_r$일 경우

• $E(X)=E(X_1)+\cdots+E(X_r)=\frac{r}{p}$
• $Var(X)=Var(X_1)+\cdots+Var(X_r)=\frac{r(1-p)}{p^2}$

초기하분포(Hypergeometric Distribution)

비복원추출에서 $N$개의 모집단 중 $n$개를 추출할 때, $r$번 성공할 확률에 대한 분포를 초기하분포라고 한다.

• $E(X)=\frac{nr}{N}$
• $Var(X)=\frac{N-n}{N-1}\times n \times\frac{r}{N}\times (1-\frac{r}{N})$

포아송분포(Poisson Distribution)

단위시간 동안 어떤 사건이 발생하는 횟수를 확률변수로 정의하는 확률분포를 포아송 분포라고 하며, $X\sim Pois(\lambda)$로 나타낸다.

• $\sum_{x=0}^\infin P(X=x)=e^{-\lambda}\sum_{x=0}^\infin\frac{\lambda^x}{x!}=e^{-\lambda}e^\lambda=1$
• $E(X)=\lambda$
• $Var(X)=\lambda$
• 평균과 분산이 같다.

다항분포

발생 가능한 결과가 두 개인 이항 분포와 달리, 여러 개의 값을 가질 수 있는 독립 확률변수들에 대한 확률분포를 다항분포라고 한다. 각각의 결과값의 빈도수를 나타내는 확률변수들의 결합밀도함수는 다음과 같다.

• 이때 $x_1+\cdots+x_k=n$
• $E(X_i)=np_i$
• $Var(X_i)=np_i(1-p_i)$
• $p_1=1-p_2-\cdots-p_k$ 즉, 다른 사건에 따라 확률이 결정되므로 서로 독립적이지 않다.