VAE 탐구 - 5/6

Tetrapod·2024년 5월 22일

VAE 탐구

목록 보기

5/6

이 글에서는 $p(x), p(z|x), q_\phi(z|x)$ 사이의 관계를 전개하고
Regularization Error 수식 도출을 하고자 한다.

$p(x)$ 의 가능도를 최대로 올리는 것이 목표이다.
$x$ 데이터는 여러 개 이므로 아래 수식을 곱이 아닌 합으로 변환하기 위해 $log$ 를 사용한다.
VAE 탐구 - 3 에서...
$L(\theta;x_1,x_2,\cdots x_N)=p(x_1,x_2,\cdots x_N;\theta)=\prod_{i=1}^Np(x_i;\theta)$

$log\;p(x)$ 전개

$log\;p(x)$ 를 전개하면 다음과 같다.

\begin{aligned} log\;p(x) &= \int q_\phi(z|x)\;log\;p(x)\;dz\;\;\;\;\leftarrow\;\because\;\int q_\phi(z|x)\;dz=1 \\ &=\int q_\phi(z|x)\;log\frac{p(x|z)p(z)}{p(z|x)}dz \\ &=\int q_\phi(z|x)\;log\left(\frac{p(x|z)p(z)}{q_\phi(z|x)}\cdot\frac{q_\phi(z|x)}{p(z|x)}\right)dz \\ &=\int q_\phi(z|x)\;log\frac{p(x|z)p(z)}{q_\phi(z|x)}dz+\int q_\phi(z|x)\;log\frac{q_\phi(z|x)}{p(z|x)}dz \\ &=ELBO(\phi) + D_{KL}\left(q_\phi(z|x)\;||\;p(z|x)\right) \end{aligned}

여기서 첫번째 항은 $ELBO$ 인데 다시 정리하면 다음과 같다.

\begin{aligned} ELBO(\phi)&=\int log\frac{p(x|z)p(z)}{q_\phi(z|x)}\;q_\phi(z|x)dz \\ &=\int log(p(x|z))\;q_\phi(z|x)dz\;-\;\int log\left(\frac{q_\phi(z|x)}{p(z)}\right)q_\phi(z|x)dz \\ &=E_{q_\phi(z|x)}[log(p(x|z))]\;-\;D_{KL}(q_\phi(z|x)\;||\;p(z)) \end{aligned}

\therefore log\;p(x)=E_{q_\phi(z|x)}[log(p(x|z))]\;-\;D_{KL}(q_\phi(z|x)\;||\;p(z))\;+\;D_{KL}\left(q_\phi(z|x)\;||\;p(z|x)\right)

VAE 탐구 - 1에서 $p(z|x)$ 를 알 수 없어 세번째 항을 구하지 못한다고 하였다.
$log\;p(x)$ 를 최대화 하는 것이 목표이고
VAE 탐구 - 3에서 $D_{KL} \ge 0$ 이라 하였으므로 대신 $ELBO$ 를 최대화 하면 된다.

Loss Function 유도

$log\;p(x) \geq ELBO(\phi)$ 라 하였다.

\begin{aligned} log\;p(x)&\geq E_{q_\phi(z|x)}[log(p(x|z))]\;-\;D_{KL}(q_\phi(z|x)\;||\;p(z)) \\&=ELBO(\phi)\;\;\because D_{KL}\geq 0 \end{aligned}

아래 수식이 최소화해야하는 수식이다.

-\sum_ilog\;p(x_i) \leq-\sum_i\{E_{q_\phi(z|x_i)}[log\;p(x_i|g_\theta(z))]\;-\;D_{KL}(q_\phi(z|x_i)\;||\;p(z))\}

\underset{\phi,\theta}{argmin}\sum_i-E_{q_\phi(z|x_i)}[log\;p(x_i|g_\theta(z))]\;+\;D_{KL}(q_\phi(z|x_i)\;||\;p(z))

여기서 아래와 같은 가정이 추가된다.

가정에 따르면 인코더에서 나오는 $z$ 분포가 표준정규분포로 변하길 원한다.
따라서, VAE 탐구 - 4에서 보았던 $D_{KL}$ 수식에 그대로 대입해본다.

\begin{aligned} D_{KL}(p||q)&=-\frac{1}{2}\left(log\frac{\sigma_1^2}{\sigma_2^2}\;-\;\frac{\sigma_1^2+(\mu_1-\mu_2)^2}{\sigma_2^2} +1\right) \\ D_{KL}(N(\mu,\sigma^2)\;||\;N(0,1))&=-\frac{1}{2}\left(log\;\sigma^2-\sigma^2-\mu^2+1\right) \\ Regularization Error&=-\frac{1}{2}\sum_i\left(log\;\sigma_i^2-\sigma_i^2-\mu_i^2+1\right) \end{aligned}

Regularization Error 수식은 유도하였고, Reconstruction Error는 생략

Reference

https://process-mining.tistory.com/161

이전 포스트

VAE 탐구 - 4/6

다음 포스트

VAE 탐구 - 6/6

0개의 댓글