[생성모델]VQ-VAE란?

VQ-VAE

• VAE 변형
• posterior 를 자체적으로 학습
• Vector Quantization ->
  discrete latent representation, not continuous

posterior collapse

• decoder가 encoder의 condition을 무시하고 생성하면 일어나는 현상

코드북 : 이산 데이터로 매핑되는 집합

• 코드워드, 코드벡터, : feature를 의미
• 코드북 : Y의 카테고리 집합을 의미
  y를 코드북으로 매핑

$z_q(x)=argmin_i||z_e(x)-e_i||_2$

• $z_e(x)$는 원시 데이터 x에 대한 인코더 벡터 = 연속적인 데이터
• $e_i$는 i번째 코드북 벡터 = 카테고리 = 이산적인 데이터
• $z_q(x)$는 디코더에 대한 입력으로 전달되는 양자화된 결과 벡터

연속적인 데이터를 이산 데이터로 변환!