StarGAN
정의 :다중 도메인에서의 효율적인 imgage to image translation 네트워크
연구배경
- 생성모델 (Generative Models)
:실존하지 않지만 있을 법한 이미지를 생성할 수 있는 모델
- 학습시키기(Generative Adversarial Networks[GAN])
:생성자(generator) 와 판별자(discriminator) 두 개의 네트워크 활용한 생성 모델
-
Z값 변경으로 인해 있을 법한 다양한 가짜 이미지 생성.의도했던 이미지가 나오지 않을 수도 있음
-
Latent vector 사이의 interploation 진행(G(z)값에 넣어 확인)
:목적함수를 통해 생성자는 이미지 분포 학습
- Conditiional GAN(cGAN)
: 데이터의 모드를 제어할 수 있도록 조건 정보를 함께 입력
: y-조건 벡터, z - Latent vector
- Image to Image Translation
4-1) Pix2pix
: 특정한 aspect만 바꿀 수 있다
:대표적인 아키텍처이다
:학습과정에서 이미지를 조건으로 입력하는 cGAN유형.
+단점
:서로 다른 두 도메인 X,Y의 한 쌍을 묶어 진행.(실존 - 합성 이미지)
:Colorization과 같은 테스크에서는 데이터 셋 구성이 쉬우나 그렇지 않은 경우도 있음
: 한 쌍으로 묶이지 않은 데이터 셋에는 적용이 안됨
4-2) CycleGAN의 문제상황
: Pix2pix문제 해결을 함.
:별 제약조건 없이 단순하게 x이미지 특성을 도메인 y특성으로 바꾸자고만 한다면
어떤 입력이던 상관없이 특정한 도메인에 해당하는 하나의 이미지만 제시한다
:판별자는 있을법한 이미지를 특정 클래스로 적절하게 분류.
4-2-1) CycleGAN
<위의 상황 해결하는 법>
: G(x)가 다시 원본 이미지 x로 재구성 될 수 있는 형태로 만들어서 원본이미지의 content는 보존하고 도메인과 관련한 특징을 바꾼다.
: 변환기 2개 사용
-
G: X-> Y
-
F: Y-> X
: Cycle- consistency loss 사용
-
WGAN-GP
: 함수가 1-Lipshcihtz 조건을 만족하여 안정적인 학습 유도
: gradient penalty를 이용하여 WGAN 성능 개선.
-
StarGAN : 다중 도메인을 위한 하나의 모델
: 하나의 뉴럴 네트워크를 이용해서 다중 도메인 사이에서의 이밎 변환 가능
-Overview
-Loss
-
Adversarial loss: 실제 이미지가 그럴싸한 이미지로 보이게 함.
c-특정 도메인
G: 진짜 이미지로 학습진행
D: Fake image로 학습진행
-
Domain classification loss
-
Reconstruction loss
6-1) Mask Vector
:Multiple dataset에서의 학습을 위해 Mask vector(m) 사용
6-2) Training with Multiple Datasets
