논문 링크: Here
GAN(Generative Adversarial Networks)은 이미지 합성 테스크에서 좋은 성능을 보이지만, 훈련 불안정성과 하이퍼파라미터에 의한 민감성이 높아 여러 데이터셋에 일반화하기 어렵다는 단점이 있다. GAN의 이런 불안정성에 대한 대표적인 이유는 real distribution과 fake distribution에 충분한 교집합이 없을 경우, Discriminator에서 Generator로 전달되는 gradient가 정보를 제공하지 못하기 때문이라고 알려져 있다.
MSG-GAN에서는 위 근거를 기반으로, gradient를 여러 스케일에서 generator로 흘러가게끔 하여 정보를 제공하는 방법을 제안한다. 이 방법은 고해상도 영상 합성을 위한 안정적인 접근 방식을 제공했으며, 일반적으로 사용되는 점진적 성장 기술의 대안으로 사용된다.
즉, MSG-GAN은 다양한 데이터셋에 일반화가 가능하며 향상된 성능을 보이는 구조를 제안한다.
1. Introduction
GAN의 성공은 최적화를 위해 수동으로 설계된 loss function을 필요로 하지 않기 때문에 명시적으로 정의할 필요없이 복잡한 데이터 분포를 생성하는 방법을 배울 수 있다는 사실에서부터 비롯된다.
flow 기반 모델과 auto-regressive 모델은 maximum likelihood estimation을 사용하여 생성 모델을 직접 훈련할 수 있지만, 생성된 이미지의 fidelity가 GAN의 SOTA 모델에 이르지 못한다는 부족함이 존재한다.
하지만 GAN 또한 고질적인 문제인 Mode collapse와 training instability 문제를 겪고 있다. 이 문제를 해결하기 위해 여러 연구들이 제안되었지만 여전히 완벽하게 해결되지 않은 문제이다.
