Simple Prior to Complex Data Distributions

직전 lecture에서 살펴본 VAE는 latent variable을 이용하여 modeling 하는 모델이다. VAE가 충분히 성공적인 모델이 될 수 있었던 이유는 simple prior($p(\mathbf{z})$, 일반적으로 gaussian)을 갖더라도 충분히 복잡한 data distribution을 가질 수 있기 때문이다. 다만 VAE는 marginal likelihood가 intractable하여 likelihood를 직접 optimize 하지 못하는 단점을 가진다.

Normalizing flow models는 tracable한 likelihood를 가진 latent variable 모델이다. 핵심 아이디어는 invertible transformation을 통해 simpe distribution을 complex distribution으로 변환하는 것이다. VAE 관점에서 $p(\mathbf{x|z)}$를 $p(\mathbf{z|x)}$로 변환하는 invertible function $\mathbf{x}=f_\theta(\mathbf{z})$를 이용하는 것이다. 이때 invertible function이기 때문에 $\mathbf{x,z}$는 같은 dimension을 가져야한다.

Change of Variables Formula

1 dimension variables case를 먼저 살펴보자. $X=f(\mathrm{z}),\ Z=f^{-1}(\mathrm{x})=h(\mathrm{x})$ 라고 할 때, $X, Z$에 대한 distribution은 다음과 같은 관계를 갖는다.

• $P_{X}(\mathrm{x})=P_{Z}(h(\mathrm{x}))|h^\prime(\mathrm{x})|$

위 식을 n dimension으로 확장한 식은 다음과 같다.

• $P_X(\mathbf{x})=P_Z(\mathbf{f}^{-1}(\mathbf{x}))|\det(\frac{\partial\mathbf{f}^{-1}(\mathbf{x})}{\partial\mathbf{x}})|$

1 dimension의 경우와 비교하여, inverse function의 differential function이 jacobian으로 대체 되고 jacobian matrix의 absolute determinant 값을 곱한다. 이 경우 앞서 말한대로, $\mathbf{x,z}$는 동일한 dimension이다.

위 식에 matrix $A$가 invertible인 경우 $\det(A^{-1})=\det(A)^{-1}$라는 것을 이용하면 다음과 같은 식을 얻을 수 있다.

• $P_X(\mathbf{x})=P_Z(\mathbf{z})|\det(\frac{\partial\mathbf{f}(\mathbf{x})}{\partial\mathbf{x}})|^{-1}$

위 식을 통해, $\mathbf{f}$의 inverse가 아닌 $\mathbf{f}$의 jacobian을 바로 구해 사용할 수 있으며, 일반적으로 $\mathbf{f}$는 neural network로 만든다.

Reference

cs236 Lecture 7