Today I Learned

오늘 배운 내용은 Latent Variable Model과 GAN!

Generative Model

Latent Variable Model

관측 변수(관측되는 데이터)와 잠재 변수(관측되지 않는 숨겨진 변수) 간의 관계를 모델링한다.
관측 변수에 대한 조건부 확률 분포를 학습하고, 잠재 변수를 통해 데이터를 생성하는 확률적인 모델링 방법을 포함한다.

Variational Auto-encoder(VAE)

생성 모델의 한 종류로, 주어진 데이터의 분포를 학습하고 새로운 데이터를 생성하는데 사용된다. VAE는 잠재 변수를 사용하여 데이터의 특징을 학습하고, 이를 기반으로 새로운 데이터를 생성한다.

• Variational Inference(VI)
  사후분포 P(θ|D)는 추정이 힘들다. 그래서 이를 근사화하는 분포(Variational Distribution) q(θ)를 찾는 과정을 VI라 한다.
  ELBO를 최대화함으로써 사후 분포를 근사화할 수 있다.

• Key limitation
  VAE는 explicit모델이 아니고 intractable 모델이다.
  prior fitting term은 미분이 가능해야만 한다.
  그래서 대부분의 경우 isotropic Gaussian을 사용한다.

• Encoder 네트워크
  입력 데이터를 잠재 공간(latent space)으로 매핑하는 인코더 네트워크가 있다.
  주어진 데이터의 분포를 학습하고, 잠재 공간에서 해당 데이터를 잘 표현할 수 있는 잠재 변수의 분포를 근사화한다.

• 잠재 변수
  잠재 변수는 데이터의 특징을 나타내는 공간으로, VAE는 입력 데이터를 잠재 공간으로 투영하여 데이터를 잘 표현할 수 있는 잠재 변수를 찾는다.

Adversarial Auto-encoder(AAE)

• Gaussian을 활용할 수 없는 상황일 때 사용한다. 샘플링이 가능한 어떤 분포만 있어도 사용이 가능하다.

• VAE와 GAN(Generative Adversarial Network)을 결합한 모델이다. VAE의 잠재 공간을 학습하기 위해 GAN의 generator와 discriminator 아키텍처를 사용한다.

본 포스트의 학습 내용은 부스트클래스 <AI 엔지니어 기초 다지기 : 부스트캠프 AI Tech 준비과정> 강의 내용을 바탕으로 작성되었습니다.