투빅스 14기 김상현
이번 강의는 multi-domain image-to-image translation에 관련된 논문 리뷰 강의로 투빅스 14기 한유진님이 진행해주셨습니다.

StarGAN v1

• 단일 모델에서 여러 domain에 대해 image-to-image translation이 가능하고, mask vector를 이용하여 다른 domain을 가진 dataset들을 동시에 학습시킨다.
• 판별자는 real/fake classification과 domain classification을 수행한다. 생성자는 target domain과 input image를 입력 받아 fake image를 생성한다.
• Loss는 adversarial, domain classification, reconstruction으로 구성된다. Adversarial은 기존 GAN의 loss와 유사하다. Domain classification의 경우 판별자는 real image의 domain classify하면서 최적화되고, 생성자는 fake image의 domain classify하면서 최적화된다. Reconstruction은 domain외에 기존 형태를 잘 보존하기 위해 사용되며 생성자를 최적화한다.
• Mask vector는 서로 다른 데이터셋의 다른 도메인들을 concat을 이용해 합친 후 마지막에 어떤 데이터셋의 도메인인지 구분 짓는 m을 추가한 vector.

StarGAN v2

• Target domain의 여러 다양한 이미지로 변경할 수 있다.
• 생성자는 style vector s가 들어가면 AdaIn을 통해 style을 주입해서 style이 변한 이미지를 바꾼다. 여기서 s는 domain y에 대해 latent z에 관한 경우 mapping network를 통해 얻어지고, image x에 관한 경우 style encoder를 통해 얻어진다. 판별자는 각각의 도메인에 대해 real/fake를 이진 분류한다
• Loss는 adversarial, style reconstruction, style diversification, cycle consistency로 구성된다. Style reconstruction은 mapping network에서 생성된 s를 학습하기 위해 해당 s로 생성된 이미지를 style encoder에 넣어서 비교한다.

RelGAN

• 상대 속성 기반 방식을 이용해 전체 target attribute 집합을 지정할 필요없이 속성 변경에 따라 전체 속성을 알 수 있고, 이를 조건으로 학습하기 위해 matching-aware 판별자를 사용한다. 또한, 보간 정도의 제어를 위해 interpolation 판별자를 사용한다. 따라서 1개의 생성자와 3개의 판별자로 구성되어 있다.
• Loss는 adversarial, conditional adversarial(match), reconstruction, interpolation으로 구성된다. Match loss는 real x와 generated G(x,v)의 차이가 상대 속성 v와 일치하게 학습한다. Reconstruction은 cycle과 self로 나뉘며, self는 G(x,0)과 x의 차이를 최소화하며 학습한다. Interpolation은 G(x,$\alpha$v)를 보간되지 않은 출력과 구별 할 수 없게 정규화를 지행하여 보간 된 이미지가 realistic하게 보이도록 한다.
• 학습의 안정화를 위해 orthogonal regularize를 진행한다.

multi-domain 이미지 변환의 GAN 모델들의 구조 및 손실함수를 통해 각각의 모델들의 학습방법을 전체적으로 이해할 수 있었습니다.
유익한 강의 감사합니다!

투빅스 13기 이예지:
이번 강의는 ‘Multi-domain image to image translation’으로, 한유진님이 진행하였습니다.

StarGAN v1

• 도메인 수에 따라 generator의 수가 증가하는 단점을 보완하고자 함.
• 총 3가지의 loss 사용함.
• adversarial loss: real and fake의 구분
• domain classification loss: 도메인 레이블 c가 주어졌을 때 변환된 이미지가 해당 c로 분류되게끔 함.
• reconstruction loss: input image의 형태를 잘 보존하기 위해 추가함.

StarGAN v2

• StarGAN v1은 각 도메인에 대한 결정을 한 번에 하나씩 직접해야하는 불편함이 있어, StarGAN v2는 이미지를 다양한 타켓 도메인 형태로 이미지를 변경할 수 있게 만들어짐.
• Mapping Network: 임의의 가우스 노이즈를 스타일 코드로 변환함.
• Style Encoder: 주어진 소스 이미지에서 스타일 코드를 추출하는 것을 학습

RelGAN

• StarGAN의 경우 input으로 (image, target attribute)를 사용하고 원하는 속성으로 출력 이미지를 생성함.
• 선택한 attribute에 대해 원하는 변경을 설명하는 relative attribute 기반 방식을 사용하여 속성 변경에 대해 반영 정도를 조절할 수 있음.
• adversarial loss: real and fake의 구분
• conditional adversarial loss: 출력이미지를 realistic하게 보이게 하고, 입력 이미지와 생성 이미지의 차이가 상대속성 v와 일치하게 함.
• reconstruction loss: conditional adversarial loss에서 G가 low level에서 high level까지 모든 측면을 보존하면서 속성과 관련된 컨텐츠만 수정한다는 보장이 없음. 이에 따라 정규화를 위해 두가지(cycle-reconstruction loss, self-reconstruction loss)를 도입함.
• interpolation loss: high-quality interpolation을 위해 속성이 변경된 이미지가 realistic할 수 있도록 정규화를 추가하였음.

Multi-domain에 대한 다양한 접근을 알 수 있었습니다. 또한 어떻게 로스를 구상했는지 살펴보는 좋은 기회가 된 것 같습니다.
좋은 강의 감사합니다 :)

투빅스 14기 정재윤:

오늘은 투빅스 14기 한유진님께서 Multi-domain Image to Image Translation이라는 주제로 강의를 진행해주셨습니다.

• 지금까지의 image to image translation은 항상 2개의 domain에서 진행됐습니다. 그래서 domain이 3개 이상으로 늘어나게 되면 모델이 안정적으로 동작하지 않게 됩니다.

• 이런 점을 개선해서 나온 것이 StarGAN입니다. starGAN은 하나의 generator로 여러 domain의 이미지들을 생성해낼 수 있습니다. 알아둬야할 중요한 특징은 2개의 generator를 사용하는 것이 아닌 한 개의 generator를 다른 용도로 2번 사용한다는 점입니다.

• starGAN의 loss 중 주의해야할 점은 domain classification loss를 포함한다는 점입니다. 이 loss는 input image와 target domain label을 input으로 넣을 때, 만들어지는 output image가 target domain으로 분류시키기 위한 것입니다.

• 이런 starGAN 역시 단점이 있었습니다. 각 domain에 대한 결정을 한 번에 하나씩 직접해야한다는 점과 데이터 분포에 대한 다양한 특성을 반영하지 못한다는 점입니다. 그래서 나온 것이 starGAN v2입니다. starGAN v2의 generator는 style vector를 AdaIN을 통해 주입하여 이미지를 만들어줍니다.

• 이미지 생성에 있어서 많은 발전을 했지만 세세한 조정은 여전히 불가능했습니다. 이를 가능케 한 모델이 바로 RelGAN입니다. RelGAN은 선택한 attribute에 대해 원하는 변경을 할 수 있는 relative attribute 기반 방식을 사용하여 속성 변경에 대해 반영정도를 조절 할 수 있습니다.

• 특히 interpolation loss가 인상적입니다. 이 loss는 생성된 이미지를 보간되지 않은 출력과 구별할 수 없도록 하는 정규화를 제안합니다. 하여 생성기는 판별기를 속여 생성된 이미지가 보간되지 않는다고 생각하게끔 만듭니다.

Multi-domain에 대한 다양한 모델과 발전과정을 순차적으로 알 수 있는 강의였습니다. 모델의 구조와 로스에 대해 쉽게 이해할 수 있었습니다. 감사합니다 😊

투빅스 14기 박지은

• StarGAN v1은 단일 모델과 mask vector을 이용하여 여러 domain의 데이터셋을 동시에 학습시키고, image-to-image translation을 할 수 있습니다. 먼저 Adversarial Loss에서 생성자가 이미지를 생성하고 판별자는 이를 구분하려는 loss입니다. 이는 1을 가지도록 학습하여 최소화시켜야 합니다. 다음으로 Domain Classification Loss는 input image x와 target domain label c가 주어질 때, x가 output image y로 변환되어 target domain c로 분류하기 위해 domain classification loss를 추가합니다. Reconstruction loss는 input image 본래의 형태를 잘 보존하기 위해 생성자에 추가합니다.
• StarGAN v2는 각 domain에 대한 결정을 하나씩 직접 해야한다는 점과 데이터 분포의 다양한 특성을 반영하지 못하는 v1과 달리 특정 domain의 하나의 이미지를 target domain의 다양한 이미지로 변경하고 다양한 style를 표현할 수 있습니다. 먼저 style reconstruction은 스타일에 맞게 잘 변화시키기 위해 가짜 이미지 생성에 사용된 style code와 fake image를 비교하여 원하는 style에 가짜 이미지가 생성될수록 작아지는 loss입니다. 다음으로 style diversification은 다양한 style을 생성하게 해주는 loss입니다. 마지막으로 input image x의 도메인에 해당하는 속성을 보존하기 위해 cycle consistency loss도 추가합니다.
• RelGAN은 multi-domain image-to-image 변형을 합니다. 이는 relative attributes를 통한 얼굴 속성 보간을 적용하여 이루어집니다. 또한 DMatch를 도입하여 출력 이미지가 realistic하게 보이고 x와 G(x, v)의 차이가 상대 속성 v와 일치하게 합니다.
  수식을 자세히 설명해주셔서 이해에 도움이 되었습니다. 좋은 강의 감사드립니다!

투빅스 14기 박준영
이번강의는 투빅스 14기 한유진님께서 StarGAN /ReIGAN을 주제로 진행해주셨습니다.

• 도메인수에 따라 Generator수가 증가하기때문에 여러가지 domain에 대한 단일 모델을 만들기 위해
  starGan과 REIGAN이 나왔습니다.

• StarGan은 단일 모델만을 사용하여 여러가지 domain들에 image-to-image translation가 가능하고 mask ventor를 이용하여 다른 domain을 동시에 학습시킬 수 있습니다.

• Training the discriminator에서 real, fake를 구분하는 동시에 real image일때 domin으로 분류하는 것을 학습하여 source와 domain labels에 대한 확률분포를 만든다

• original-to-target-domain Generator의 input으로 input image, target domain이 들어가 output으로 fake이미지를 생성하고

• Target-to-original-domain Generator에서 domain label을 가지고 원본 이미지로 reconstrucion하는 과정으로 stargan이 이루어진것을 배웠습니다.

• stargan의 loss는 adversarial loss, domain classification loss, reconstruction loss로 이루어졌다는 것을 배웠습니다.

• domain의 image 한개를 target domain의 여러 다양한 image를 변경하고 특정 도메인에 대한 다양한 style들을 표현 할 수 있게 개선된 Stargan2가 나왔습니다.

• stargan2는 Stylegan과 비슷하게 mapping networkF와 style encoder E로 style vector를 만들고 AdaIN으로 style를 입혔다는 점이 흥미로운 부분이었습니다.

• RelGAN은 relative attribute 방식을 사용하여 각 속성의 변경에 따라 입력 이미지의 속성을 알 수 있게하였고 relative attribute을 사용하는 Generator를 학습하기 위해 input-output 쌍이 matching-aware discriminator를 사용하여 상대 속성과 일치하는지 판별하는 특징을 가진다는 것을 배웠습니다.

Multi-domain에 대해 많은 것을 배울 수 있었던 강의였습니다. 특히 loss 부분을 자세히 볼 수 있는 좋은 기회였습니다.
감사합니다!!

투빅스 12기 김태한

이번 강의는 투빅스 14기 한유진님이 StarGAN /ReIGAN을 주제로 강의해주셨습니다.

StarGAN과 RELGAN 둘다 domain의 크기가 증가함에 따라 generator의 개수도 증가하는 문제를 해결하기 위하여 탄생하게된 모델입니다.

StarGAN의 특징은 Image to Image translation이 가능하며 여러 domain에 대해 동시에 학습한다는 특징이 있습니다.
여기서 가장 큰 특징으로는 기존의 이미지를 reconstruction하는 loss가 있다는 것 같습니다.
loss가 굉장히 독특하며 adversarial loss, domain classification loss, reconstruction loss 총 3가지로 구성되어 있습니다.
다는 점이 흥미로운 부분이었습니다.

RelGAN의 경우 이미지의 속성을 반영할 수 있도록 generator를 학습하며 matching aware discriminator를 사용하여 input과 output이 대응되는 속성과 일치하는지 판별하는 특징을 가지고 있습니다.

multi-domain에서 loss를 여러 방면에서 조절함으로써 좋은 결과를 낼 수 있다는 것을 알 수 있었습니다.

좋은 강의 너무너무 감사합니다!!

투빅스 11기 이도연
지난 Image to Image Translation에서 다룬 Pix2Pix, CycleGAN에서 더 나아가 Multi-domain을 다루는 StarGAN과 RelGAN에 대해 다룬 강의였습니다. 좋은 강의 감사합니다!!

• 기존의 image-to-image translation 연구들은 3개 이상의 도메인에서 안정적으로 동작하지 않으며, 도메인 수에 따라 Generator 수가 증가하는 단점이 있다. 이번 시간에는 단일 모델로 Multi-domain Image-to-Image translation을 하는 StarGAN과 RelGAN에 대해 다뤘다.
• [StarGAN] StarGAN의 Generator는 input으로 Image와 one-hot-vector Domain을 받아 이미지를 생성한다. Generator는 두 가지 용도로 쓰이는데 하나는 Original input image와 Target domain으로부터 Target domain에 해당하는 Fake image를 생성하고, 다른 하나는 생성된 Fake image와 Original domain으로부터 다시 Original domain에 해당하는 Reconstructed image를 생성한다. 이를 보고 지난 시간에 배운 CycleGAN이 떠올랐는데 Generator의 input으로 Domain 정보를 같이 줘서 하나의 Generator로 여러 Domain에 대한 학습이 가능하도록 한 것 같다. Discriminator는 Real image와 Fake image를 구분함과 동시에 Domain classification 부분이 있다. 이를통해 Real image의 Domain까지 예측해서 각 도메인의 특징까지 학습할 수 있다. 또한 논문에서 CelebA와 RaFD 데이터 셋을 하나의 모델에서 학습한 결과를 보여주는데 이 때 두 개 데이터 셋의 도메인을 통합하여 학습하기 위해 mask vector를 사용했다.
• [StarGAN v2] StarGAN은 각 도메인에 대해 동일한 변형만 가능하고 데이터 분포에 대한 다양한 특성을 반영하지 못한다. 이에 StarGAN v2에서는 다양한 도메인에 대해 다양한 이미지를 생성할 수 있도록 했다. 기존 StarGAN과 달라진 부분은 mapping network와 style encoder가 추가되었다. Generator, Mapping network, Style encoder, Discriminator에서 Generator를 제외하고는 여러개의 Output branches를 갖고 있다. 이는 학습시키는 도메인에 따라 선택된다. Mapping network F는 latent code z로부터 target domain에 있을 법한 style code s를 생성하고, Style encoder는 image에서 target domain에 대한 style code s를 추출한다. Mapping network F는 z, domain을 샘플링 함에 따라 다양한 domain의 style code를 생성하고, Style Encoder는 이미지에서 target domain에 대응하는 style을 잘 뽑아내는 느낌이다. Generator는 이렇게 생성된 s를 통해 target domain의 이미지를 생성한다. 이 모델의 손실함수 중 다양한 이미지를 생성하기 위한 다양하고 의미있는 style vector를 찾을 수 있는 diversity sensitive loss가 눈에 띄었다. 추가적으로 Generator는 오직 style code를 이용해 style을 잘 적용하는데에만 집중할 수 있어 더 좋은 이미지를 생성하고, 모듈의 공유하는 부분은 정규화 효과를 유도한다.
• [RelGAN] 앞서 StarGAN에서 input으로 image와 target domain attribute를 사용했다. 여기에는 0, 1 이진값 속성을 가정해 세밀한 제어를 할 수 없다는 점과 대부분의 속성을 그대로 유지하고 일부만 변경할 때에도 전체 target attribute를 지정해야 한다는 한계점이 있다. 이에 RelGAN에서는 original attribute와 target attribute의 차이를 통해 상대 속성(relative attribute)을 이용하고 interpolation discriminator를 통해 보간의 정도를 세밀하게 제어할 수 있도록 했다. RelGAN은 Generator와 3개의 Discriminator(Dreal, Dmatch, Dinterp)로 이루어져 있다. Dreal은 우리가 알던 생성된 이미지에 대한 real/fake를 구분하는 것이고, Dmatch는 real triplet인 (x, v, x')과 fake triplet인 (x, v, G(x, v))를 구분하는 것이 목적이다. 결국은 x와 G(x, v)의 차이가 v가 되도록 하고 싶은 것이다. Dinterp는 보간된 이미지 G(x, αv)와 보간되지 않은 이미지 G(x, 0), G(x, v)를 구분하는 것이 목적이고 Generator가 high-quality interpolation 이미지를 생성하도록 한다. 여기서 훈련 과정을 안정시키기 위해 손실함수에 orthogonal regularization을 추가한다. 여러 속성 변환에 대한 결과와 보간의 정도를 세밀하게 조절한 결과를 볼 수 있다.

투빅스 14기 김민경

• StarGAN은 기존의 I2I(Pix2Pix, CycleGAN, DiscoGAN 등)는 3개 이상의 도메인에서 안정적으로 동작하지 않고 도메인 수에 따라 Generator수가 증가하게 되는 한계가 존재하기 때문에 제안된 모델이다. StarGAN은 하나의 통합된 모델을 사용해서 multi domain과 다양한 데이터셋을 하나의 네트워크에서 동시에 학습시킬 수 있다.
• 기존 GAN에서는 generator가 latent vector z를 input으로 받지만, StarGAN은 변환하고자 하는 도메인 정보(c)와 원본 이미지(x)를 input으로 받는다. 그리고 discriminator는 원본 이미지의 real/fake여부에 더해서 특정 도메인 정보까지 맞추는 걸 목표로 한다. Loss는 'Adversarial Loss' + 'Domain Classification Loss' (domain classification loss of real images used to optimize D, domain classification loss of fake image used to optimize G) + 'Reconstruction Loss'로 구성된다.
• StarGAN은 기존의 I2I task에서 비효율적인 문제를 해결했지만 각 domain에 대한 결정을 한 번에 하나씩 직접 해야 하는 점, 데이터 분포에 대한 다양한 특성을 반영하지 못한 다는 한계가 있다. 이를 보완해서 StarGAN v2가 제안되었다. StarGAN v2에서는 어떤 domain의 이미지 한 개를 target domain의 여러 다양한 image로 변경 할 수 있고, 특정 domain에 대한 다양한 style들을 표현할 수 있다. StarGAN v2의 loss는 ‘Adversarial objective’ + ‘Style reconstruction’ + ‘Style diversification’ + ‘Cycle consistency loss’로 구성된다.
• StarGAN은 input쌍으로 (image, target attribute)를 사용하고, 원하는 속성으로 출력 이미지를 생성하는데, 이진값 속성을 가정(한계1)하고 대부분의 target attribute가 변경되지 않더라도 전체 target attribute 집합을 지정해야한다(한계2)는 2가지 한계점이 존재한다. 이를 해결하기 위해 multi-domain I2I 모델인 RelGAN이 제안되었다.
• RelGAN은 선택한 attribute에 대해 원하는 변경을 설명하는 상대 속성 기반 방식을 사용해서 한계2를 극복하고 보간 품질을 향상시키기 위해 interpolation discriminator를 제안함으로써 한계1을 극복했다. RelGAN은 1개의 generator + 3개의 discriminator {$D_{real}$, $D_{match}$, $D_{interp}$}로 구성되는데, 3개의 discriminator는 각각 real/fake구분, real triplets과 generated/wrong triplets을 구분, interpolation 정도를 예측하는 역할을 한다.
• multi-domain I2I 모델인 StarGAN, RelGAN을 자세히 설명해주셔서 정말 도움되는 강의였습니다. 감사합니다:)

투빅스 13기 신민정

이번 세미나는 한유진님께서 Multi-domain Image-to-Image transaltion에 관해 강의해주셨습니다.

StarGAN

loss는 adversarial, domain classification, reconstruction loss가 사용됩니다. domain classification loss에서는 ACGAN에서의 class분류같이 domain분류를 하게됩니다.
mask vector를 이용하여 다른 domain을 가진 다른 dataset을 동시에 학습시키는 것이 가능합니다.

RelGAN

• RelGAN은 multi-domain에 source와 target의 상대속성까지 학습할 수 있는 GAN입니다.

notation

• a: original domain vector
• $hat{a}$ : target attribute vector
• relative attribute v = a - $hat{a}$

Task

1. realistic한 이미지 생성 $D_{real}$, adversarial loss
2. 입력과 target의 상대속성 v를 추가하여 생성 (x,$hat{a}$) —→ (x,v) $D_{match}$, Conditional adversarial loss,Cycle reconstruction loss,Self reconstruction loss
3. interpolation에 맞는 v를 가진 이미지 생성. interploation 계수 $\alpha$는 [0,0.5] $D_{interp}$, Interpolation Loss

RelGAN은 하나의 G와 세개의 D로 이루어져있습니다. G는 세개의 task를 모두 수행하고, 세개의 D는 각각 Task를 수행합니다. 세개의 D는 같은 구조로 이루어져 있습니다. orthogonal regularization으로 overfitting을 방지합니다.

이번 강의는 StarGAN과 RelGAN에 대한 내용을 다루었습니다. StarGAN에서 mask vector로 다른 datset을 한번에 적용하는 부분과, RelGAN의 loss로 multi-domain의 attribute와 interpolation까지 조절하는 부분이 인상깊었습니다.