Summary

지난 포스팅에서 ELBO와 ELBO를 사용한 VAE까지 설명하였다. 이번 챕터에서는 VAE에서 여러 테크닉을 사용하여 Variational Diffusion model을 설명하려고 한다.

Hierarchical Variational Autoencoder(HVAE)

기존의 AutoEncoder가 다음과 같은 구조를 띈다고 할 때, Latent vector를 가우시안으로 가정하고, Reparameterization trick을 사용한 것이 VAE였다. 여기서 또다른 가정을 하는 것이 Latent vector $p(z)$도 더 복잡한 분포에서의 얻어낸 분포라는 가정이다.

식으로 나타내면, $z_1 \sim z_2$ ,$z_2 \sim z_3$, $z_{n-1}\sim z_n$이라는 가정하에