6-4 Generative Model

Generative Models1

Introduction

• 'Generative Model을 만든다'는 무엇을 말하나요?
  단순히 GAN을 가지고 그럴듯한 이미지를 만다는걸로 생각할 수 있지만, 그것이 전부는 아니다.
• 예를 들어 강아지 이미지가 주어졌을 때,
  • 서로 다른 강아지를 생성(Generation)
  • 고양이같은지? 강아지 같은지 구분(Desity estimation)
    • explicit model: 확률값을 얻어낼 수있는 모델
  • 강아지는 꼬리가 있고, 다리가 4개 등을 알 수 있어야 함(Unsupervised representation learning)

Basic Discrete Distributions

Example

• 파라미터가 많이 필요하다.(파라미터가 많아질수록 학습은 더 어려워진다.)
  
  • 하나의 RGB 픽셀에 fully distributions하기 위해서는 많은 파라미터가 필요하다.
    

Structure Through Independence

• 파라미터를 줄이고 싶을때 N개를 다 표현하지 말고 조금 더 쉽게 표현
• N개의 특성들이 모두 Independence하다!로 대체
  
• 파라미터는 확줄지만 말도 안되는 가정이기도 하다.
  • 표현할 수 있는 이미지가 너무 적다

Conditional Independence

• 위에 두개를 적절한 충족!
  
  • chain rule 과 Conditional Independence의 적절한 스팟을 찾기~
    

Auto-regressive Model

• Auto-regressive Model은 한가지 정보가 이전 정보에 Independence한걸을 말함
• 이미지 도메인 또는 어떤 도메인에 Auto-regressive Model을 사용할때 중요한 점은 ordering임(순서를 매기는것)

• i번째 픽셀을 만들때는 1~ i번째까지의 입력을 모두 받고 뉴럴네트워크를 거친 후 시그모이드 통과하여 어떤 확률값이 나옴(dependence)
• explicit model: 임의으 784개의 벡터가 주어지면 확률로 계산할 수 있음
  • How?
• continuous output일때는 마지막 레이어에 가우시안 모델을 활용해서 continuous Distributions을 만듬

Pixel RNN

이미지에 있는 픽셀을 만들어내고 싶을때 사용하는 생성모델

Generative Models 2

• Latent Variable Models

Variational Auto-encoder

• Variational Auto-encoder은 결국 Variational Inference를 찾는것과 관련있음
• Variational Inference은 Variational Distribution과 관련 있음
  • Variational Distribution은 옵저베이션이 주어졌을때 관심있어 하는 랜덤 확률 분포
    
  • 일반적으로 Variational Distribution은 posterior Distribution을 계산하기가 너무 힘들어서 내가 학습할 수 있는, 최적화시킬 수 있는 것으로 근사하겠다.

• but, 무엇과 가까이 근사해야하는지도 모르는데? 어떤것과 비슷하게 해야하는지 모르는데 어떻게 찾을까?
• 궁극적으로는 x라는 입력의 공간이 그것을 잘 표현할 수 있는 Latent space(z)를 찾고자 하는것
• encoder를 활용할때 가우시안이 아닌경우 사용할 수 없다는 문제가 있음

Adversarial Auto-encoder

GAN

• 도둑이 위주지폐를 만들고 싶어하고, 그것을 분별하는 경찰이 있음
• 도둑은 경찰이 분별한 토대로 더 잘 위주지폐를 만들고, 경찰은 그것을 또 잘 분별하는 과정을 계속 거치면서 GENERATOR 성능을 높임
• discriminator의 성능이 높아지면서 같이 GENERATOR의 성능이 점점 더 좋아진다는 점이 장점
  
  

DCGAN

info-GAN

Text2Image

Puzzle-GAN

CycleGAN

• cycle-consistency loss -> 두개의 도메인 사이의 (예를 들어 얼룩말과 말의 이미지) 말이 있으면 알아서 임의로 얼룩말로 바꿔주고 이게 가능하게 된 이유

Star-GAN

Progressove-GAN

• 고차원된 이미지를 만들수 있음