Generative model
기본 Discrete Distributions
X가 전부 independent 하다고 가정
가능한 state
필요한 parameter 갯수
chain rule parameter 갯수
Markov assumption parameter 갯수
—> parameter 갯수를 기하급수적으로 줄일수 있다. (Auto-regressive model이 활용)
28x28 binary pixel을 가정
목표
chain rule과 markov assumption 적절히 이용
explicit model
NN의 입력차원 증가 → weight 증가
주어진 이미지의 density 계산
RNN을 이용하여 auto-regressive model 정의 가능
NxN RGB 이미지
두 가지 model (chain의 ordering 기반)
뒷단(decoder, 생성)부분을 학습시키려고 encoder를 붙인것
Variational inference (VI)
어떻게?
ELBO
GAN의 Discirminator 사용하여 prior 분포와 같게 만듬 (KL divergence 역할)
구조
implicit model
예시
목적함수
다양한 GAN
DCGAN
Info-GAN (class를 줘서 학습을 집중시킨다.)
Text2Image
Puzzle-GAN (GAN 구조 두개)
CycleGAN
Star-GAN
Progressive-GAN (해상도가 낮은 이미지부터 만들어 결국 고해상도 이미지 생성)