Probability & Statistics

Uniform RV

균등분포

• 모든 확률이 같음
  $mean =E(X)= \frac{n+1} {2}$
  $Variance=\frac{n^2-1} {12}$

---

Bernoulli RV

베르누이 확률분포

• 시행 결과가 두 개인 경우
  ex) 성공 or 실패

• Pmf of X

  $P\{X=0\}=1-p$
  $P\{X=1\}=p$

• Mean

  $E(X)= p$

• Variance

  $(1-p)$

---

Binomial RV

이산 확률 분포

• 베르누이 시행이 여러번 있는 것 (독립)

• 사건이 시행될 횟수를 X , 확률분포로 보고 사용
  X = the number of success that occur in the n trials

  $X\sim B(n,p)$

  $$

• Probability mass function

  $P\left\{ X=i \right\}= {n \choose i}p^i(1-p)^{n-i}$

• Expectation

  $E[X]=\sum_{i=1}^n E[X_i]=np$

• Variance

  $Var(X)=\sum_{i=1}^n Var(X_i)=np(1-p)$

---

Multinomial RV

다항 분포
시행 결과가 3개 이상일 때
ex)

• Probabillity mass function
  $f(x_1,...,x_k;p_1...,p_k)=Pr(X_1=x_1\ and \ ...\ and \ X_k=x_k)= \begin{cases} \frac {n!} {x_1!...x_k!}p^{x_1}_1\times p^{x_k}_k \\ 0 \end{cases}$

Property

• Mean

  $E(X_i)=np_i$

• Variance

  $Var(X_i)=np_i(1-p_i)$

• Covariance

  $Cov(X_i,X_j)=-np_ip_j$

---

Geometric RV

기하 분포
베르누이 시행을 처음 '성공'이 나올 때 까지의 횟수

• X= number of Bernoulli trials (p) to get "firtst success"
• Probability mass function
  $Sucess = p$
  $Failure=1-p$
  $Pr(X=k)=(1-p)^{k-1}p\qquad for \ k=1,2,3...$

Property

• Mean

  $\mu=\frac {1} {p} \qquad (p>0)$

• proof
  

• Variance

  $\sigma^2=\frac {q} {p^2} \qquad (q=1-p)$

• proof
  

Memoryless property

$P(X>n+m|X>n)=P(X>m)$

X>n+m : n이 경과 된 상태에서 m이라는 시간이 더 지났다.
| X>n : (전제)
X>m : m 이후에 처음 사건이 발생할 확률

if n=5, m=3 이면 5년이 지난 상태에서 3년이 더 지났을 때 고장이 날 확률은 3년 이후에 처음 고장이 발생 될 확률과 같다.

앞의 5년을 잊어버린다. = memoryless

---

Poisson RV

푸아송 분포
이항분포의 특수한 경우 -> 푸아송
시행 횟수가 크지만 발생확률이 작은 경우
ex) 하루 24시간 동안 길냥이를 마주칠 확률은?

$X\sim Pois(\lambda)\qquad (\lambda=np)$

• Probability mass function
  $P\left\{ X=x \right\}=e^{-\lambda}\frac{\lambda^x} {x!}$
  

Property

• Mean

  $E[X]=\lambda$

• proof

• Variance
  $Var[X]=\lambda$
  

---

Uniform RV

균일분포

• Definition
  All values of X have the same probability

  $(X\sim U(n))$

• Probability density function (pdf)

  $f(x)= \begin{cases} \frac {1} {\beta - \alpha} \qquad if \ \alpha\le x \le \beta \\ 0 \qquad otherwise \end{cases}$

• Probability on (a,b)

  $P\{ a<X<b\}=\frac {1} {\beta - \alpha}\int_{a}^{b} dx=\frac {b-a} {\beta - \alpha}$

  

• Mean over [a,b]

  $E[X]=\frac {\alpha + \beta} {2}$

  

• Variance over [a,b]

  $Var[X]=\frac {(\beta - \alpha)^2} {12}$

  

---

Exponential RV

지수분포 (푸아송 분포에서 유도)
단위 시간 당 평균 발생 횟수가 람다일 때, 사건이 처음 발생할때 까지 걸리는 시간이 T이하일 확률

• Probability density function (pdf)

  $f(x)= \begin{cases} \ \lambda e^{-\lambda x} \qquad if\ x\ge0 \\ 0 \qquad if\ x<0 \end {cases}$

  $X \sim Exp(\lambda)$

  $$

• Mean

  $E[X]=\frac {1} {\lambda}$

• Proof
  

• Variance

  $Var[X]=\frac {1} {\lambda^2}$

• Proof
  

• Cumulative distribution function F(x) 누적분포 함수 (cdf)
  사건이 처음 발행할 때 까지 x년 이하가 걸린다.
  

Memoryless Property

---

Gamma RV

감마분포 (지수분포의 일반화된 형태)
X : time taken until the k events occur
k개의 event가 일어날 때까지의 시간

• Pdf with two prameters
  X follows a gamma distribution
  

• Mean

  $E[X] = \frac {\alpha} {\lambda}$

• Variance

  $Var(X)=E[X^2]-(E[X])^2=\frac {\alpha} {\lambda^2}$

---

Normal Distribution

정규분포 (연속확률분포의 한 종류)
참값과 오차의 분포

$X \sim \mathcal{N}(\mu,\sigma^2)$

• 그래프의 면적 = 확률

• 좌우대칭 (뮤 기준)

• Probability density function

  $f(x)=\frac {1} {\sqrt{2\pi}\sigma}e^{-(x-\mu)^2/2\sigma^2},\qquad -\infin <x<\infin$

• Maximum value :

  $at \ x=\mu$

  

  $if\ \ \ \ Y\sim\mathcal{N}(5,2^2)$
  $X\sim\mathcal{N}(2,1^2) \rightarrow P(1\le x\le 3)=P(2-1_{(\mu-\sigma)}) \le X\le 2+1_{(\mu+\sigma)})$
  $so\ \ Y\sim \mathcal{N}(5,2^2)\rightarrow P(5-2_{(\mu-\sigma)}\le Y \le 5+2_{(\mu+\sigma)})=P(3\le Y\le7)$

  

• Mean = 1.4

• SD(표준편차)=(1.7 - 1.1) / 4 = 0.15 (since 95% is 2 SD either side, total 4 SD)

• Property
  -Mean

  $E[X]=\mu$

  
  -Variance

  $Var(X)=\sigma^2$

  

---

Standard normal distribution

표준정규분포
정규분포를 규격화 시킨 것

$Z\sim N(\mu,\sigma^2)$

• CDF
  $\Phi(x)=\frac{1} {\sqrt {2\pi}}\int_{-\infin}^{x} e^{-y^2/2}\, dy,\qquad-\infin<x<\infin$
  
• For x>0
  $\begin {matrix} \Phi(-x) &=&P\{Z<-x\} \\ &=& P\{Z>x\} \\ &=&1-\Phi(x) \end {matrix}$

---

Chi-Square Distribution

카이제곱 분포

$X\sim \chi^2_n$

표준정규분포에서 얻는 랜덤 변수들의 제곱합
->오차나 편차 분석에 도움을 준다. (오차가 우연한 오차인지 숨겨진 의미있는 오차인지 판별)

• $\chi^2(v=n-1) \rightarrow$ $v$는 자유도 (뽑은 랜덤 변수들의 개수 -1)

  $\mathrm{Suppose}\ Z_1,Z_2,...,Z_n\ \mathrm{are\ independent \ standard\ normal\ random\ variables}$
  $X=Z^2_1+Z^2_2+...+Z^2_n$

• Pdf
  -Mean = n (몇 번 제곱합했냐)

  -Variance = 2n
  

• For any $a \in(0,1),\chi^2_{a,n}$ is defined by $P\{X\ge \chi^2_{a,n}\}=a$
  

---

t-Distribution

t분포
표준정규분포와 카이제곱이 독립일때

이때 $Z=\mathrm{Standarad Normal}\ \ N(0,1)$ 이고 $n$은 카이제곱의 자유도가 이전된 것이다.

• Property
  -Mean
  $E[T_n]=0,\qquad n>1$
  -Variance
  $Var(T_n)=\frac{n} {n-2},\qquad n>2$
  -For $a\in (0,1),t_{a,n}$ is defined by
  $P\{T_n\ge t_{a,n}\}=a$
  -Symmetry
  $P\{T_n\ge-t_{a,n}\}=1-a$
  

---

Sum of normal distribution

---

Point Estimation

점추정
데이터 분포를 가장 잘 나타낼 수 있는 파라미터 p를 찾는 것

• sample mean $\bar X$

  $\bar X=\frac {X_1+...+X_n} {n}$

• Unbiased estimator for expectation

  $\begin{matrix} E\bar{[X]}&=&E[\frac{X_1+...+X_n}{n}]\\ &=&\frac{1}{n}(E[X_1]+...+E[X_n])\\ &=&\mu \end{matrix}$

  sample mean($E[\bar X]$) $\fallingdotseq$ population mean ($\mu$)

• Variance of sample mean
  

• sample variance of RVs
  -Sample Variance $S^2$

  $S^2=\frac {\sum_{i=1}^n (X_i-\bar X)^2} {n-1}$

• Unbiased estimator for expectation
  

---

Maximum Likelihood Estimator (MLE)

• 데이터 분포에 대한 파라미터를 찾을 때 자주 쓰임
• 관측이 가능하다는 것은 그 만큼 자주 일어난다는 뜻 -> 자주 일어나는 그 event를 가장 잘 설명할 수 있는 파라미터 찾기 (값을 max하게 만들어주는)
  observed events -> frequent events -> events that are more likely

---

MLE for Bernoulli RV

• Bernoulli
  
• Log likelihood
  
  그래프를 그린다.
  
  그래프에서 max값은 미분해서 0이 되는 값이다.
  

---

MLE for Poisson RV

아래의 log함수의 그래프이다.

이 그래프에서 max값은 미분해서 0인 값이다.

---

MLE for Normal RV

max값을 찾기 위해 각각 $\mu$와 $\sigma$에 대해 미분해준다. 후에 0이되는 값이 max값이다.

---

Law of large number (LLN)

큰수법칙

• 큰 모집단에서 무작위로 뽑은 표본의 평균이 전체 모집단의 평균과 가까울 가능성이 높다.

• $X_1,X_2...$ is an infinite sequence of independent and identical distributed (i.i.d) RVs with expectation $E[X_1]=E[X_2]=...=\mu$

• LNN states that

  $\bar X=\frac{X_1+...+X_n}{n}\rightarrow^{n\rightarrow \infin} \mu$

---

Central Limit Theorem (CLT)

중심극한정리

• 모집단에서 표본 데이터를 뽑을 때, 모집단의 분포에 상관없이 (모집단이 정규분포를 따르지 않아도) 표본의 크기 n이 커질수록 표본평균 $\bar X$의 분포가 정규분포에 가까워진다.
• Statement
  $\frac{X_1+...+X_n-n\mu}{\sigma\sqrt{n}}$

Binomial RV

• $E[X_i]=p$
• $Var(X_i)=p(1-p)$
• CLT implies for large n,
  $B(n.p)\rightarrow\frac{X-np}{\sqrt{np(1-p)}}$

How large n is needed?
In general, $n\ge30$ (a general rule of thumb)