Style transfer trends

https://www.youtube.com/watch?v=iLkkJZNeuBg

Progressive Growing GAN
고해상도 고품질 이미지 생성

StyleGAN
기존 GAN은 입력만 noise를 넣었지만
layer 마다 noise를 넣어주면서 latent sapce를 넘겨주면서 학습

저해상도 레이어: 대략적인 특징
고해상도 레이어: 영상의 세부적인 특징

random noise -> style vector
Adaptive Instance Normalization(AdaIN)
$AdaIN(x,y)=\sigma(y)\frac{x-\mu(x)}{\sigma(x)}+\mu(y)$
평균과 분산을 이용 노말라이션하고 타겟의 분포로 디노말라이제이션한다.
벡터의 분포를 시프트

StyleGAN2
JoJoGAN
e4e encoder
coarse style에만 인코딩 값 넣고
middle style과 fine style에는 랜덤 벡터를 넣는다.
입력 이미지와 출력 이미지가 같아지게 middle layer와 fine layer를 학습한다. coarse layer를 fix한다.

DualStyleGAN
p2p encoder
Ts: Coarse feature layer에 벡터맵핑 수행
Tc: Fine feature layer에 벡터맵핑 수행
ModRes: 스타일 변환에 필요한 표현 벡터 계산

성능 좋은 encoder
transformer

Adversarial Importance Weighting
Discriminator 가 잘 학습되어있어야한다.