Bernoulli, Binomial, Multinomial, Multinoulli Distribution

Bernoulli Distribution (베르누이 분포)

• 확률 변수 X의 값이 0 혹은 1인 분포
• $P(x=1): \mu$
• $P(x=0): 1-\mu$
• $P(x | \mu) = \mu^x (1-\mu)^{1-x}$
• $E(x) = \mu$
• $Var(x) = \mu(1-\mu)$
  -> 평균과 분산의 경우 공식에 대입하면 바로 얻을 수 있다.
  -> $E(x) = \sum x*P(x|\mu) = 0 * (1-\mu) + 1 * \mu = \mu$
  -> $Var(x) = E((x-E(x))^2) = E((x-\mu)^2) = E(x^2)-\mu^2 = \mu-\mu^2 = \mu(1-\mu)$

Binomial Distribution (이항 분포)

• 베르누이 분포와 같이 일어날 확률이 $P(x=1) = \mu$, 혹은 $P(x=0) = 1-\mu$ 두개인 확률 변수가 있을 때, 총 N번 시행 시 확률변수 X가 1인 사건이 m번 발생한 것을 나타내는 확률 분포
• $P(m|N, \mu) = \dbinom{N}{m}\mu^{m}(1-\mu)^{N-m}$
• 이때 $\dbinom{N}{M} = _N C _m$을 뜻한다.
• 평균: $N\mu$
• 분산: $N\mu(1-\mu)$

Multinomial Distribution (다항 분포)

• 이항 분포와 비슷하지만, 확률변수 $X$가 2개가 아닌, k개일 때의 각 확률 변수가 발생할 확률 분포이다.
• $P(X_i) = p_i (i: 1 , ... , k)$ 일 때, $p_1 + p_2 + ... + p_k = 1$을 만족할 때
• $P(X_1=x_1, X_2=x_2, ..., X_k=x_k ) = \frac{N!}{x_1!...x_k!}p_1^{x_1}p_2^{x_2}*...*p_k^{x_k}, when \sum_{i=1}^k{N}$
  ->즉 k개의 확률변수가 총 N번 발생했고, 각 확률변수의 발행 횟수가 x1, x2, ... , xk회 일 때의 확률을 구하는 것이다.
• $E(X_i) = np_i$
• $Var(X_i)= np_i(1-p_i)$

Multinoulli Distribution

• $x$ 벡터가 k*1 차원의 이산 확률 변수 (벡터)이고, one-hot encoding과 같은 방식으로 하나의 원소만 1, 다른 k-1개의 원소는 0일 때 확률 분포를 정의한다.
• 또한 각 k차원의 값에서 $x_i$값이 발생할 확률을 $p_i$ 라고 한다.
• $\sum_{i=1}^kp_i = 1$을 만족
• $P(x_1, x_2, ..., x_k)= \prod_{i=1}^kp_i^{x_i}$의 확률을 갖게 되는 확률 분포이다.
• $p = [p_1, p_2, ..., p_k]^T$라 할때,
• $E(X) = p (k*1벡터)$
• $Cov(X)= \sum$ 이고, $\sum_{i,j} = \begin{Bmatrix} p_i(1-p_i)& \text{if }&j=i \\ -p_ip_j &\text{if }&j\ne i \end{Bmatrix}$
• 즉 Bernoulli Distrobution의 확장판이 되는 것.