Single Random Variables and Probability Distributions

Random variable(확률변수)

확률 실험의 실험 결과나 사건을 sample space에서 실수축의 한 점으로 mapping시키는 함수이다.

• 확률 변수의 종류
  1. Discrete random variable (이산확률변수)
     : “countable”한 값만을 포함하는 확률 변수 (e.g. 주사위 확률, 동전 확률)
     
  2. Continuous random variable (연속확률변수)
     : 특정 구간 내의 값을 포함하는 확률 변수 (e.g. 0부터 1까지의 랜덤 값)
     
  3. Mixed random variable (혼합확률변수)
     : 이산 확률과 연속 확률이 혼재되어 있는 확률 변수

---

Probability Distribution Functions

1. Cumulative Distribution Function (누적분포함수)

연속확률변수 $X$에 대한 cdf는 다음과 같의 정의된다.

$F_X(x) = P(X≤x)$

• CDF의 성질

  1. 모든 cdf는 x가 감소할수록 0에 가까워지고, 증가할수록 1에 가까워진다.

     $\lim_{x \to -\infty}F_X(x)=0$ , $\lim_{x \to \infty}F_X(x)=0$

     $F_X(-\infin)=0$ , $F_X(\infin)=1$

  2. 모든 cdf는 단조 비감소 함수(monotone non-decreasing)이다.

     즉, $x_2≥x_1$ 이면, $F_X(x_2) ≥ F_X(x_1)$

  3. 모든 cdf는 우측으로부터의 연속성을 가진다.

     $F_X(x_0)=\lim_{x \to x_0^+}F_X(x)$

  4. $X$값이 $x_1$과 $x_2$사이에 있을 확률은 다음과 같이 표현된다.

     $P(x_1≤X≤x_2)=F_X(x_2)-F_X(x_1)$

2. Probability Density Function (확률밀도함수)

연속확률변수 $X$에 대한 pdf는 다음과 같이 표현된다.

$f_X(x)=$$dF_X(x)\over{dx}$

도함수의 정의를 이용하면, pdf를 다음과 같이 표현할 수 있다.

$f_X(x)=\lim_{\Delta{x}\to 0}$ ${F_X(x+\Delta{x})-F_X(x)} \over {\Delta x}$

$\Delta{x}$가 충분히 작으면, $lim$을 제거하고 다음과 같이 표현할 수 있다.

$F_X(x+\Delta x) - F_X(x) = P(x<X≤x+\Delta x) \widetilde{=} f_X(x\Delta x)$

• pdf의 성질 확률변수 X에 대한 pdf $f_X(x)$는 cdf $F_X(x)$의 도함수이다. 또한, cdf $F_X(x)$는 pdf $f_X(x)$의 적분으로 표현될 수 있다. (미분-적분의 관계) 즉, $F_X(X)=\int^{x}_{-\infin}f_X(u)du$
  

1. pdf는 non-negative function이다. (→ cdf가 non-decreasing 함수이기 때문에, cdf의 도함수인 pdf 또한 non-negative이다.) 즉, $f_X(x)≥0$
   
2. pdf를 전 구간에 걸쳐 적분하였을 때 그 값이 1이다. (→$F_X(\infin)=1$) $\int^{\infin}_{-\infin}f_X(x)dx=1$
   
3. $x_1$과 $x_2$ 사이에 $X$값이 포함될 확률은 다음과 같이 표현된다. $P(x_1<X≤x_2)=\int^{x_2}_{x_1}f_X(x)dx$ $= F_X(x_2) - F_X(x_1) = \int^{x_2}_{-\infin}f_x(u)du - \int^{x_1}_{-\infin}f_x(u)du = \int^{x_2}_{x_1}f_X(u)du$

cdf, pdf of Discrete Random variable

이산확률변수의 cdf는 weighted and shifted unit step function $u(x)$의 합으로 표현될 수 있다.

$F_X(x)=\sum^{N}_{i=1}p_iu(x-x_i)$

마찬가지로, 이산확률변수의 pdf $f_X(x)$는 weighted and shifted unit impulse function $\delta (x)$의 합으로 표현될 수 있다.

$f_X(x)=\sum^N_{i=1}p_i\delta(x-x_i)$

---

Continuous random variable and their Distribution Functions

(연속확률변수와 그 분포함수)

1. Uniform Random Variable

균등분포의 pdf는 다음과 같다.

$f_X(x)=\left\{ \begin{array}{ll} {1\over (b-a)} & \text{a≤x≤b, b>a} \\ 0 & \text{otherwise} \end{array} \right.$

균등분포의 cdf는 다음과 같다.

$F_X(x)=\left\{ \begin{array}{ll} {0} & \text{} a\leq x\leq b, b>a \\ \frac{x-a}{b-a} & \text{a<x≤b} \\ 1 & \text{x>b} \end{array} \right.$

2. Gaussian Random Variable

가우시안 분포의 pdf는 다음과 같다.

$f_X(x)=\frac{e^{(x-m)^2/2\sigma^2}}{\sqrt{2\pi\sigma^2}}$

가우시안 분포의 cdf는 적분으로 직접 구하기 어려워, Q 함수(또는 error 함수)를 사용하여 표현한다.

$F_X(x) = 1-Q(\frac{x-m}{\sigma})$

Q함수의 정의

$Q(x)=\frac{1}{2\pi}\int^\infin_xe^{-u^2/2}du$

error 함수(오차함수)의 정의

$erf(x)=\frac{2}{\sqrt{\pi}}\int^x_0e^{-u^2}du$

3. Exponential Random Variable

지수 분포의 pdf

$f_X(x)=\alpha e^{-\alpha x} u(x),$ $\alpha > 0$

지수 분포의 cdf

$F_X(x)=(1-e^{-\alpha x})u(x)$

4. Gamma Random Variable

감마 분포의 pdf는 다음과 같다.

$f_X(x)=\frac{c^b}{\Gamma(b)}x^{b-1}e^{-cx}u(x),$ $b, c > 0$

$\Gamma(b)=\int^{\infin}_{0}y^{b-1}e^{-y}dy$

• Chi-square pdf
  $f_X(x)=\frac{1}{2^{n/2}\Gamma(n/2)}x^{(n/2)-1}e^{-x/2}u(x)$
  
• Erlang pdf
  $f_X(x)=\frac{c^n}{(n-1)!}x^{n-1}e^{-cx}u(x)$
  

5. Cauchy Random Variable

$f_X(x)=\frac{\alpha/\pi}{x^2+\alpha^2}$

$F_X(x)=\frac{1}{2}+\frac{1}{\pi}\tan^{-1}\frac{x}{\alpha}$

---

Discrete random variable and their Distribution Functions

(이산확률변수와 그 분포함수)

1. Binomial Random Variable

이항 분포

$P(X=k)=\binom{n}{k}p^kq^{n-k}$$,$ $k=0,1,2,…,n$

$where \ \ p+q=1$

$f_X(x)=\sum^n_{k≤x}\binom{n}{k}p^kq^{n-k}\delta(x-k)$

$F_X(x)=\sum_{k≤x}\binom{n}{k}p^kq^{n-k}$

2. Geometric Random Variable

기하 분포는 k번째 시도에서 첫 번째로 성공할 확률에 대한 분포이다.

$P(first \ success \ at \ trial \ k)=P(X=k)=(1-p)^{k-1}p,$ $k=1, 2, …$

3. Poisson Random Variable

포아송 분포

$P(X=k)=\frac{a^k}{k!}e^{-a},$ $k=0, 1, 2, …$

$f_X(x)=\sum^{\infin}_{k=0}\frac{a^k}{k!}e^{-a}\delta(x-k)$

$F_X(x)=\sum^{\infin}_{k=0}\frac{a^k}{k!}e^{-a}u(x-k)$

• **Poisson Point** 임의의 구간 $T$에서 $k$개의 사건이 발생할 확률 $P(X=k)=\frac{(\lambda T)^k}{k!}e^{-\lambda T},$ $k = 0, 1, 2, …$ 이 때, $\lambda$ 는 단위 시간당 발생하는 사건의 수 $f_W(w) = \lambda e^{-\lambda w}u(w)$ $F_W(w)=P(W≤w)=1-P(X=0)=1-e^{-\lambda w},$ $w ≥0$
  

De Moivre-Laplace Theorem(드므와브르-라플라스 정리)

$n$ 크기가 충분히 크다면, 이항분포를 가우시안 분포로 근사할 수 있다.

$p^kq^{n-k}≈\frac{e^{-(k-m)^2}}{\sqrt{2\pi\sigma^2}}$$,$ $n >> 1$

드므와브르-라플라스 정리에 근거하여 이항분포의 cdf 또한 다음과 같이 근사된다.

$F_X(x) ≈ 1 - Q(\frac{x-np}{\sqrt{npq}})$

4. Pascal Random Variable

일련의 베르누이 시행에서 k번 성공하기까지 실행 횟수에 대한 분포

$P=(X=k)=\binom{n-1}{k-1}p^kq^{n-k},$ $k=1, 2, …,$ $q = 1 - p$

5. Hypergeometric Random Variable

N개의 모집단에서 n개의 샘플을 무작위로 뽑았을 때 성공 횟수에 대한 분포 (K→ 모집단 성공 횟수, k→샘플 중 성공 횟수)

$P(X=k)=\frac{\binom{K}{k}\binom{N-K}{n-k}}{\binom{N}{n}},$ $k= 0, 1, 2, …, n$