📖 학습주제

머신러닝, Scikit-learn, 실전 머신러닝 문제 실습 (3)

---

확률기초

확률과 확률변수 (Random Variable)

• 표본집합 $S$ : 실험의 결과로 발생하는 모든 사건의 집합
• 확률 $P$ : 집합 $S$의 부분집합(사건)을 실수값에 대응시키는 함수
• 확률변수 $X$ : 표본집합 $S$의 원소 $e$를 실수값 $X(e)=x$에 대응시키는 함수
  - 확률변수가 가질 수 있는 어떤 실수값의 집합 $A$에 대해,
  $B=\{e|e \in S\; and\;X(e) \in\;A\}$로 주어졌을 때, $A$와 $B$는 동일한 사건이라 하고 $P[X \in A] = P(B)$라고 표기한다.

연속확률변수 (Continuous Random Variable)

• 누적분포함수(cumulative distribution function, CDF) : $F(x) = P[X \in (-\infin, x)]$
• 누적분포함수 $F(x)$를 가진 확률변수 $X$에 대해, 다음을 만속하는 함수 $f(x)$가 존재한다면 를 연속확률변수라고 부르고 $f(x)$를 $X$의 확률밀도함수(probability distribution function, pdf)라고 한다.
  $F(x) = \int_{-\infty}^x f(t)\ \mathrm{d}t$
• 혼란이 없다면 $f(x)$ 대신 $p(x)$를 확률변수로 쓰기도 한다.
• $p(x)\geq0,\; \int_{-\infty}^\infty p(x)\ \mathrm{d}x = 1$
• $f(x) = {d\over dx}F(x)=F'(x)$

확률변수의 성질

• 덧셈법칙(sum rule) : $p(X)=\displaystyle\sum_Yp(X,Y)$
• 곱셈법칙(product rule) : $p(X,Y) = p(X|Y)p(Y) = p(Y|X)p(X)$
• 베이즈 정리(Bayes Theorem)
  $p(Y|X) = {p(X|Y)p(Y)\over \displaystyle\sum_Yp(X|Y)p(Y)}$

확률변수의 함수 (Functions of Random Variables)

확률변수 $X$의 함수 $Y= f(X)$도 확률변수가 된다.

확률변수 $X$의 함수 $Y= g(X)$와 역함수 $X= w(Y)$에 대해, 다음이 성립한다.

$k$차원의 확률벡터 $\textbf{x}=(x_1,x_2,\cdots,x_k)$에 대해, $k$개의 $\textbf{x}$에 관한 함수 $y_i = g_i(x)$는 새로운 확률 변수 $\textbf{y}=(y_1,y_2,\cdots,y_k)$를 정의한다. $(i=1,2,\cdots,k)$

$\textbf{y}=g(\textbf{x})$가 일대일 대응($one-to-one$)인 경우, $\textbf{y}$의 결합확률밀도함수는

$p_y(y_1,y_2,\cdots,y_k)=p_x(x_1,x_2,\cdots,x_k) \left| {\textbf{J}} \right|,$ $where\;{\textbf{J}} = \begin{vmatrix}{\partial{x_1} \over \partial{y_1}}&{\partial{x_1} \over \partial{y_2}}& \cdots & {\partial{x_k} \over \partial{y_1}}\\{\partial{x_2} \over \partial{y_1}}&{\partial{x_2} \over \partial{y_2}}& \cdots &{\partial{x_2} \over \partial{y_k}}\\ \vdots& \vdots & \ddots & \vdots \\{\partial{x_k} \over \partial{y_1}}&{\partial{x_k} \over \partial{y_2}}& \cdots & {\partial{x_k} \over \partial{y_k}} \end{vmatrix}$

Inverse CDF Technique

확률변수 $X$가 확률분포함수 $F_X(x)$를 가진다고 하자.

연속확률분포함수 $U\sim UNIF(0,1)$로 정의되는 다음과 같은 확률변수 $Y$를 가정하자.

두 확률변수 $X,Y$는 동일한 분포를 따르게 된다.

기댓값 (Expectations)

확률분포$p(x)$ 하에서 함수 $f(x)$의 평균을 기댓값이라고 하고 $E$로 표기한다.

• 이산확률분포에서의 기댓값 : $E[f]=\displaystyle\sum_xp(x)f(x)$
• 연속확률분포에서의 기댓값 : $E[f]=\int_{}^{} p(x)f(x)\ \mathrm{d}x$
• 확률분포로부터 $N$개의 샘플을 추출해 기댓값을 근사해 구할 수 있다.
  $E[f]\approx{1 \over N}\displaystyle\sum_{i=1}^Nf(x_i)$
• 다변량함수의 기댓값
  
  $E_x[f(x,y)]=\displaystyle\sum_xf(x,y)p(x)$
  
  $E_{x,y}[f(x,y)]=\displaystyle\sum_y\sum_xf(x,y)p(x,y)$
• 조건부 기댓값
  
  $E_x[f(x|y)]=\displaystyle\sum_xf(x)p(x|y)$

분산 (Variance), 공분산 (Covariance)

$f(x)$의 값들이 기댓값으로부터 흩어져있는 정도를 분산이라고 하고 $Var$로 표기한다. (공분산 : $Cov$)

• $Var[x]=E[(x-E[x])^2]=E[x^2]-E[x]^2$
• $Cov[x,y]=E_{x,y}[\lbrace x-E[x] \rbrace\lbrace y-E[y] \rbrace] \\ \quad \quad \quad \quad \,=E_{x,y}[xy]-E[x]E[y]$
• 공분산은 두 확률변수의 선형관계를 나타낸다.
  - 양수이면 양의 선형관계
  - 음수이면 음의 선형관계

확률을 해석하는 두가지 관점

• 빈도주의(Frequentist) : 반복가능한 사건의 빈도수에 기반
• 베이지안(Bayesian) : 불확실성을 정량적으로 표현

베이지안의 장점

사전확률을 모델에 포함시킬 수 있음

정규분포 (Gaussian Distribution)

• 단일변수 $x$를 위한 가우시안 분포
  $\mathcal{N}(x|\mu,\sigma^2)={1 \over (2\pi\sigma^2)^{1/2}}exp\lbrace {-{1 \over 2\sigma^2}(x-\mu)^2} \rbrace$
  확률분포이므로 이는 곧
  $\displaystyle\int_{-\infin}^{\infin}\mathcal{N}(x|\mu,\sigma^2)\mathcal{d}x=1$

proof)

$I=\displaystyle\int_{-\infin}^{\infin}exp( {-{1 \over 2\sigma^2}x^2)\mathcal{d}x}\\{}\\ I^2=\displaystyle\int_{-\infin}^{\infin}\displaystyle\int_{-\infin}^{\infin}exp( {-{1 \over 2\sigma^2}(x^2+y^2))}\mathcal{d}x\mathcal{d}y\\{}\\\quad\,=\displaystyle\int_{0}^{2\pi}\displaystyle\int_{0}^{\infin}exp( {-{1 \over 2\sigma^2}r^2)r\mathcal{d}r\mathcal{d}\theta}\\{}\\\quad\,=\displaystyle\int_{0}^{2\pi}\lbrace -\sigma^2{exp(-{1 \over 2\sigma^2})r^2}\vert_0^{\infin} \rbrace \mathcal{d}\theta\\{}\\\quad\,=\displaystyle\int_{0}^{2\pi}-\sigma^2\mathcal{d}\theta\\{}\\\quad\,=2\pi\sigma^2\\{}\\I=\sqrt{2\pi\sigma^2}\\{}\\1={I\over I}=\displaystyle\int_{-\infin}^{\infin}{1 \over (2\pi\sigma^2)^{1/2}}exp{(-{1 \over 2\sigma^2}x^2)}$

• $E[x]=\mu$
  
• $Var[x]=\sigma^2$

• 최대우도해 (Maximum Likelihood Solution)
  $X=(x_1,x_2. \cdots,x_N)^T$가 독립적으로 같은 가우시안 분포로부터 추출된 $N$개의 샘플이라고 할 때,
  $\mu_{ML}={1 \over N}\displaystyle\sum_{i=1}^Nx_i$
  $\sigma_{ML}^2={1 \over N}\displaystyle\sum_{i=1}^N(x_i-\mu_{ML})^2$

확률분포

이항변수 (Binary Variables)

$x \in \lbrace 0,1 \rbrace$

• $E[x]=\mu$
  
• $Var[x]=\mu(1-\mu)$

• 최대우도추정치 (Maximum Likelihood Estimate)
  $\mu_{ML}={m \over N}\;(m:observations\;of\;1)$
  $N$이 작은 경우 MLE는 과적합된 결과를 낳을 수 있음

이항분포 (Binary Distribution)

$\mathcal{D}=\lbrace x_1,x_2, \cdots, x_N \rbrace$일 때, 이항변수 $x$가 $m$번 관측될 확률

• $E[x]=np$
  
• $Var[x]=np(1-p)$

$N=1$일 때 : 베르누이 분포

베타분포 (Beta Distribution)

이 때,

($\Gamma(n)=(n-1)!$ 이 성립한다.)

• $E[x]={\alpha \over (\alpha+\beta)}$
  

• $Var[x]={\alpha\beta \over (\alpha+\beta)^2(\alpha+\beta+1)}$

• $x$의 사후확률

  $p(\mu|m,l,\alpha,\beta)={\Gamma(m+\alpha+l+\beta) \over \Gamma(m+\alpha)\Gamma(l+\beta)}\mu^{m+\alpha-1}(1-\mu)^{l+\beta-1}$

다항변수 (Multinomial Variables)

$K$개의 상태를 가질 수 있는 확률변수를 하나의 원소만 1이고 나머지는 0인 $K$차원의 벡터 $\textbf{x}$로 나타낼 수 있다. $p(x_k=1|\bm{\mu})=\mu_k$라고 하면, 베르누이 분포를 다음과 같이 일반화 할 수 있다.

다항분포 (Multinomial Distribution)

• 디리클레 분포(Dirichlet distribution) : 다항분포에 대한 켤레사전분포
  $Dir(\bm{\mu}|\alpha)={\Gamma(\alpha_0) \over \Gamma(\alpha_1)\Gamma(\alpha_2)...\Gamma(\alpha_K)}\displaystyle\prod_{k=1}^K\mu_k^{\alpha_k-1}$
• $\mu$의 사후확률
  $p(\bm{\mu}|D,\alpha)=Dir(\bm{\mu}|\alpha+m)={\Gamma(\alpha_0+N) \over \Gamma(\alpha_1+m_1)\Gamma(\alpha_2+m_2)...\Gamma(\alpha_K+m_K)}\displaystyle\prod_{k=1}^K\mu_k^{\alpha_k+m_k-1}\\{}\\\textbf{m}=(m_1,m_2,\cdots,m_K)^T$

가우시안 분포 (Gaussian Distribution)

• 단일변수 $x$
  $\mathcal{N}(x|\mu,\sigma^2)={1 \over (2\pi\sigma^2)^{1/2}}exp\lbrace {-{1 \over 2\sigma^2}(x-\mu)^2} \rbrace$
• D차원 벡터 $\textbf{x}$
  $\mathcal{N}(\textbf{x}|\bm{\mu},\Sigma)={1 \over (2\pi)^{D/2}}{1 \over |\Sigma|^{1/2}}exp\lbrace {-{1 \over 2}(\textbf{x}-\bm{\mu})^T\Sigma^{-1}(\textbf{x}-\bm{\mu})} \rbrace$

$\bm{\mu}$ : $D$차원 벡터의 평균 벡터
$\Sigma$ : $D \times D$ 크기를 가지는 공분산 행렬