[TIL Day29] Machine Learning 기초 - Probability Distributions I

확률분포 Part 1: 이산확률분포에 대해 알아본다.
아래 내용은 여기를 참고하여 더 공부하자.

밀도추정(Density Estimation)

$N$개의 관찰데이터(observations) $\mathbf{x}_1,\ldots\mathbf{x}_N$가 주어졌을 때 분포함수 $p(\mathbf{x})$를 찾는 것

1. $p(x)$를 파라미터화된 분포로 가정한다. 회귀, 분류문제에서는 주로 $p(t|x), p(C|x)$를 추정한다.

2. 그 다음, 분포의 파라미터를 찾는다.

   • 빈도주의 방법: 어떤 기준(ex. likelihood)을 최적화시키는 과정을 통해 파라미터 값을 정한다. 파라미터 하나의 값을 구하게 된다.
   • 베이지안 방법: 먼저 파라미터의 사전확률을 가정하고 Bayes' rule을 통해 파라미터의 사후확률을 구한다.

3. 파라미터를 찾았다면(한 개의 값이든 분포든) 그것을 사용해 "예측"을 할 수 있다($t$나 $C$).

• 켤레사전분포(Conjugate Prior): (베이지안 방법을 사용할 경우) 사후확률이 사전확률과 동일한 함수형태를 가지도록 해준다.

이항변수(Binary Variables): 빈도주의 방법

이항 확률변수(binary random variable) $x\in \{0, 1\}$ (ex. 동전던지기)가 다음을 만족한다고 하자(파라미터화된 분포).

$p(x=1 | \mu) = \mu, p(x=0 | \mu) = 1 - \mu$

$p(x)$는 베르누이 분포(Bernoulli distribution)로 표현될 수 있다.

$\mathrm{Bern}(x | \mu) = \mu^x (1-\mu)^{1-x}$

• 기댓값, 분산
  - $\mathbb{E}[x] = \mu$
  - $\mathrm{var}[x] = \mathbb{E}[x^2] - (\mathbb{E}[x])^2 = \mu(1-\mu)$

우도함수(Likelihood Function)

$x$값을 $N$번 관찰한 결과를 $\mathcal{D} = \{x_1,\ldots,x_N\}$라고 하자. 각 $x$가 독립적으로 $p(x|\mu)$에서 뽑혀진다고 가정하면 다음과 같이 우도함수($\mu$의 함수인)를 만들 수 있다.

$p(\mathcal{D}|\mu) = \prod_{n=1}^N p(x_n|\mu) = \prod_{n=1}^N \mu^{x_n} (1-\mu)^{1-x_n}$

빈도주의 방법에서는 $\mu$값을 이 우도함수를 최대화시키는 값으로 구할 수 있다. 또는 아래와 같이 로그우도함수를 최대화시킬 수도 있다.

$\ln p(\mathcal{D}|\mu) = \sum_{n=1}^N \ln p(x_n|\mu) = \sum_{n=1}^N \{x_n\ln \mu + (1-x_n)\ln(1-\mu)\}$

$\mu$의 최대우도 추정치(maximum likelihood estimate)는

$\mu^{\mathrm{ML}} = \frac{m}{N} ~~\mathrm{with}~~ m = (\#\mathrm{observations~of}~ x=1)$

$N$이 작은 경우에 위 MLE는 과적합(overfitting)된 결과를 낳을 수 있다!
$N = m = 3 \to \mu^{\mathrm{ML}} = 1$!

이항변수(Binary Variables): 베이지언 방법

이항분포(Binomial Distribution)

$\mathcal{D} = \{x_1,\ldots,x_N\}$일 때, 이항변수 $x$가 1인 경우를 $m$번 관찰할 확률

$\mathrm{Bin}(m|N,\mu) = {N \choose m}\mu^m(1-\mu)^{N-m}$

${N \choose m} = \frac{N!}{(N-m)!m!}$

• 기댓값, 분산
  - $\mathbb{E}[m] = \sum_{m=0}^N m\mathrm{Bin}(m|N,\mu) = N\mu$
  - $\mathrm{var}[m] = \sum_{m=0}^N (m-\mathbb{E}[m])^2\mathrm{Bin}(m|N,\mu) = N\mu(1-\mu)$

베이지안 방법을 쓰기 위해서 데이터의 우도를 구해야 하는데, 이항분포를 가정하면 우도함수가 하나의 변수 $m$으로($x_1,\ldots,x_N$ 대신) 표현가능하므로 간편해진다.

베타분포(Beta Distribution)

베이지언 방법으로 문제를 해결하기 위해 베타분포를 켤레사전분포(conjugate prior)로 사용한다. 베타분포는 $\mu$에 대한 분포임에 유의하자.

$\mathrm{Beta}(\mu|a,b) = \frac{\Gamma(a+b)}{\Gamma(a)\Gamma(b)}\mu^{a-1}(1-\mu)^{b-1}$

감마함수 $\Gamma(x)$는 다음과 같이 정의된다.

$\Gamma(x) = \int_0^{\infty}u^{x-1}e^{-u}\mathrm{d}u$

감마함수는 계승(factorial)을 실수로 확장시킨다. $\Gamma(n) = (n-1)!$

• $\Gamma(x) = (x-1)\Gamma(x-1)$

• $a, b$값에 따른 베타분포
  

• 기댓값, 분산
  - $\mathbb{E}[\mu] = \frac{a}{a+b}$
  - $\mathrm{var}[\mu] = \frac{ab}{(a+b)^2(a+b+1)}$

$\mu$의 사후확률(Posterior)

$m$과 $l$이라는 관찰이 주어진 후의 사후확률은 $a$가 $m$만큼 늘어나고 $b$가 $l$만큼 늘어난 효과를 가진다. 새로운 데이터가 들어오면 사후확률을 사전확률로 활용해서 또다시 $\mu$에 대한 지식을 업데이트할 수 있다.

• 연속적인 업데이트: 하나의 샘플을 관찰했을 때, 사전확률과 사후확률의 관계
  
  - 첫번째 그림:사전확률은 $a=2, b=2$인 베타분포
  - 두번째 그림: $x=1$인 하나의 샘플에 대한 우도함수
  - 세번째 그림: 사후확률은 $a=3, b=2$인 베타분포
  다음 관찰에 대해선 이 사후확률이 사전확률로 쓰이게 된다.

예측분포(Predictive Distribution)

새로운 데이터 $x$가 1의 값을 가질 확률?

$p(x=1 | \mathcal{D}) = \int_0^1 p(x=1|\mu)p(\mu|\mathcal{D})\mathrm{d}\mu = \int_0^1 \mu p(\mu|\mathcal{D})\mathrm{d}\mu = \mathbb{E}[\mu|\mathcal{D}]$

$p(x=1 | \mathcal{D}) = \frac{m+a}{m+a+l+b}$

베이지언 관점은 빈도주의 관점에서 N이 작을경우 나타날 수 있는 극단적인 결과(과적합)를 피할 수 있다. 우리의 사전지식 $a, b$값이 이를 보정해주기 때문이다.

다항변수(Multinomial Variables): 빈도주의 방법

$K$개의 상태를 가질 수 있는 확률변수를 $K$차원의 벡터 $\mathbf{x}$ (하나의 원소만 1이고 나머지는 0)로 나타낼 수 있다. 이런 $\mathbf{x}$를 위해서 베르누이 분포를 다음과 같이 일반화시킬 수 있다. $p(x_k=1|\pmb \mu) = \mu_k$

$p(\mathbf{x}|\pmb \mu) = \prod_{k=1}^K \mu_k^{x_k}$
with $\sum_k \mu_k = 1$

• 기댓값
  $\mathbb{E}[\mathbf{x}|\pmb \mu] = \sum_{\mathbf{x}} p(\mathbf{x}|\pmb \mu) = (\mu_1,\ldots,\mu_M)^T = \pmb \mu$

우도함수

${\bf x}$값을 $N$번 관찰한 결과 $\mathcal{D} = \{{\bf x}_1,\ldots,{\bf x}_N\}$가 주어졌을 때, 우도함수는 다음과 같다.

$p(\mathcal{D}|\pmb \mu) = \prod_{n=1}^N\prod_{k=1}^K \mu_k^{x_{nk}} = \prod_{k=1}^K \mu_k^{(\sum_n x_{nk})} = \prod_{k=1}^K \mu_k^{m_k}$

$m_k = \sum_n x_{nk}$

$\mu$의 최대우도 추정치(maximum likelihood estimate)를 구하기 위해선 $\mu_k$의 합이 1이 된다는 조건하에서 $\ln p(\mathcal{D}|\pmb \mu)$을 최대화시키는 $\mu_k$를 구해야 한다. 라그랑주 승수(Lagrange multiplier) $\lambda$를 사용해서 다음을 최대화시키면 된다.

$\sum_{k=1}^K m_k \ln \mu_k + \lambda \left(\sum_{k=1}^K \mu_k -1\right)$

$\mu_k^{ML} = \frac{m_k}{N}$

다항변수(Multinomial Variables): 베이지언 방법

다항분포(Multinomial Distribution)

파라미터 $\pmb \mu$와 전체 관찰개수 $N$이 주어졌을 때 $m_1,\ldots,m_K$의 분포를 다항분포(multinomial distribution)이라고 하고 다음과 같은 형태를 가진다.

$\mathrm{Mult}(m_1,\ldots,m_K|\pmb \mu,N) = {N \choose m_1m_2\ldots m_K} \prod_{k=1}^K \mu_k^{m_k}$

${N \choose m_1m_2\ldots m_K} = \frac{N!}{m_1!m_2!\ldots m_K!}$

$\sum_{k=1}^K m_k= N$

디리클레 분포(Dirichlet Distribution)

다항분포를 위한 켤레사전분포로, 베타분포를 일반화시킨 형태

$\mathrm{Dir}(\pmb \mu|\mathbf{\alpha}) = \frac{\Gamma{\alpha_0}}{\Gamma(\alpha_1)\ldots\Gamma(\alpha_K)}\prod_{k=1}^K \mu_k^{\alpha_k-1}$

$\alpha_0 = \sum_{k=1}^K \alpha_k$

$\mu$의 사후확률(Posterior)

$\mathbf{m} = (m_1,\ldots,m_K)^T$

$\alpha_k$를 $x_k=1$에 대한 사전관찰 개수라고 생각할 수 있다.