A Style-Based Generator Architecture for Generative Adversarial Networks 논문리뷰 (StyleGAN)

Abstract

latent space에서 disentanglement특성을 향상시켜 각 특징의 변화를 조절할 수 있게 함
이를 활용하여 이미지 생성시 스타일을 다양하게 control 할 수 있음

Method

Disentanglement

latent code z를 별도의 mapping network를 거쳐 disentangle하게 latent space를 만듬
이를 통해 우리는 각 특성의 변화를 linear하게 조절할 수 있게 됨

AdaIN

본 논문에서 스타일 정보를 추가할 때 AdaIN방법을 사용한다.
AdaIN은 instance normalization을 통해 각 feature map에 대해 정규화한 다음 별도의 스타일 정보를 입력받아 feature상의 statistics를 바꾼다.

Constant Input

초기 입력이 random variable latent code가 아니라 상수로 시작함
-> 다양한 스타일정보가 layer를 거치면서 적용될 수 있게 함으로써 이미지의 다양성이 보장되기 때문에 random variable latent code에서 시작하지 않아도 됨

Noise Injection

다양한 확률적인 측면을 control할 수 있도록(더 자연스러운 이미지가 되도록) noise를 주입
ex) 주근깨, 피부 모공

• A: 주입되는 스타일 정보는 얼굴형, 포즈, 안경의 유무 등 high-level global attributes를 담당
• B: 주입되는 noise중 앞쪽 noise에 해당하는 coarse noise의 경우 큰 크기의 머리의 곱슬 거림이나 배경 변화를 이끌어 내고 뒷쪽 noise는 좀 더 세밀한 머리의 곱슬거림이나 배경의 변화를 나타냄

Style Injection

스타일 정보가 몇 번째 layer에 주입되냐에 따라 스타일의 적용 정도가 다르게 나타날 수 있다. coarse style -> middle style -> fine style 순이다.

Architecture
이를 종합하면

이와 같은 network구조를 따른다.