[Paper Review] StarGan

msgo·2026년 5월 25일

📌 본 글은 2022.08 에 작성한 paper review를 다듬어 발행한 아카이브 글입니다.
작성 당시 컨텍스트: D&A Conference
원본 논문: https://arxiv.org/abs/1711.09020

StarGAN: Unified Generative Adversarial Networks for Multi-Domain Image-to-Image Translation

Abstract

이전 모델인 CycleGAN은 이미지에서 도메인 쌍을 바꿔주는 역할을 해내기 위해서 두 개의 생성기를 통해 이를 해결할 수 있었습니다. 하지만 두 개의 도메인에 국한하지 않고 여러 도메인에 접근 가능한 StarGAN을 제안합니다. StarGan을 통해 여러 도메인을 가진 여러 데이터 세트를 동시에 훈련이 가능해진다.

Introduction

예를 들어, 남성에서 여성이라는 특징으로 변경할 시 남성 이미지와 여성 이미지를 쌍으로 하여 데이터를 학습할 수가 있다. 하지만, CelebA 데이터 세트에는 머리색, 성별, 나이와 같은 얼굴 속성과 관련된 40개의 레이블 얼굴 표정과 관련된 8개의 레이블 들이 존재하여 각각 학습해주는 것은 비효율적이다.

420

그렇기에 한 번에 학습할 수 있는 StarGan을 제안한다. StarGan은 여러 도메인의 학습 데이터를 가져와 단일 생성기를 사용하여 모든 도메인 간의 매핑을 학습한다.

또한, 마스크 벡터를 활용하여 여러 데이터 세트 간의 다중 도메인 이미지 변환이 가능하다.

기존 Cycle Gan 혹은 Style Gan의 경우에는 angry라는 특징을 줄 때, 모델 안에서 angry의 정도만을 설정할 수 있지 이를 happy라는 특징을 줄 수는 없는 것이다! 그렇기 때문에 특정 특성에서 다른 특성으로 넘어갈 수 있도록 Star Gan이 제시된다.

523

pix2pix cGAN을 사용한 방식이고 쌍을 이루는 데이터 샘플이 필요합니다.

CycleGAN 프레임워크는 한 번에 두 개의 서로 다른 도메인 간의 관계만 학습할 수 있습니다.

Star Generative Adversarial Networks

3.1. Multi-Domain Image-to-Image Translation

532

1. Discriminator는 진짜 이미지와 가짜 이미지를 판단할 뿐 아니라 Domain classification을 통해 이미지가 어떠한 도메인을 가졌는지 분류를 한다. 2. Original to target domain G는 이미지와 타깃 도메인을 인풋으로 받는다. 이 때 타깃 도메인은 원 핫 인코딩으로 만들며 랜덤으로 생성한다. 3. Target to original domain G는 B에서 생성한 가짜 이미지를 인풋으로 받아 다시 진짜 도메인과 G에 들어가 학습을 한다. 이 때의 아웃풋을 Reconstructed image라 하며 원래의 이미지와 비교해 차이를 줄이도록 학습한다. 4. Fooling the discrimanator는 b에서 만든 가짜 이미지를 인풋으로 받아 진짜 이미지인지 가짜 이미지인지를 구분하고 a에서와 마찬가지로 도메인을 구분한다. 이 결과는 G에 피드백되어 G는 더욱 진짜 같은 이미지를 만들게 된다. 모델의 목표는 생성자 G를 학습하는 것이다. G는 입력 이미지 x와 도메인 c를 이용하여 츨력 이미지 y를 목표로 학습하게 된다.

생성자 G는 이미지를 통해 새롭게 생성된 G(x,c)를 만들고 판별자 D는 만들어진 이미지와 구분하고자 합니다.

305