Style Transfer for Anime Sketches with Enhanced Residual U-net and Auxiliary Classifier GAN

Zhang, L., Ji, Y., Lin, X., & Liu, C. (2017, November). Style transfer for anime sketches with enhanced residual u-net and auxiliary classifier gan. In 2017 4th IAPR Asian conference on pattern recognition (ACPR)
(pp. 506-511). IEEE.

논문 링크: https://arxiv.org/pdf/1706.03319.pdf

---

핵심 아이디어

---

• 선화 이미지에 스타일을 적용하는 feed forward 방식의 모델을 제안
• 다양한 일러스트를 다루기 위한 Auxiliary Classifier GAN 기반의 분류자를 제안
  • 학습에서는 메모리 부족으로 일반적인 DCGAN 분류자를 사용
• Image2Image(as I2I) 연구에서 주로 사용되는 U-NET에서 발생하는 문제를 설명
• 두 개의 guide decoder를 사용해 U-NET 모델의 문제를 해결하는 방법을 제안

Related Works

---

Neural Style Transfer

• 채색작업에 사용하기에는 거리가 먼 기술
  • 채색 작업에는 이상한 이미지를 생성
• “Style”의 정의가 광범위, 모호하기 때문에 색을 입힌다는 작업이 된다는 보장이 없음

Pix2Pix

• Conditional GAN을 사용해 이미지, 이미지 페어간의 I2I 작업에 주로 사용
• 이미지 쌍이 필요하므로 unpaired I2I translation 에는 사용할 수 없음
• 입력, 출력의 정보량의 차이가 크면 품질이 떨어지기 때문에 선화 채색에는 사용하기 부적합

Methods

---

Architecture and Objective of Generator

• U-NET 구조의 인코더, 디코더에 “중간 계층”에 VGG19를 사용한 전역 스타일 힌트를 추가
  • VGG19의 첫 FC 레이어의 활성화를 포함하지 않은 레이어를 사용해 스타일 이미지의 특징 추출
  • 4096 차원 벡터로 구성된 특징에 Dense(FC, Linear)레이어를 사용해
• “중간 계층” 앞뒤로 “Guide Deocdr as GD [1/2]”를 추가
  • “GD 1”은 gray scale 이미지와 비교
  • “GD 2”은 RGB color 이미지와 비교

기존 U-NET

Residual U-NET

Lazy U-net

• 모델이 문제 해결을 위해 하위 계층만으로 해결 가능하다고 판별될 경우 상위 계층에서는 아무것도 학습하지 않음
  • 하위, 상위 표현이 반대로 되어 있다는 느낌이 들지만, figure를 확인하면 모델 학습 시 깊은 레이어에서 기울기가 전파되지 않음을 의미하는 것으로 생각됩니다.
  • 예로 입출력이 같은 이미지를 사용할 경우 손실 값이 즉시 0으로 떨어짐
  • 즉 인코더의 첫 레이어는 손실을 최소화하기 위해 연결을 건너뛰어 모든 기능을 디코더의 마지막 계층에서 진행하도록 함 (변형하게 되면 손실이 더 높아지니...)
  • 학습을 훈련 시켜도 중간 레이어의 기울기를 얻을 수 없음
• Lazy한 특징 때문에 U-NET 모델에서 global style hint (VGG를 사용해 추출된 특징)의 주입은 노이즈로 인식되어 skip 되어 기울기를 얻을 수 없음
• Residual U-NET은 모델 레이어를 최대한 활용하기 위한 구조
  • 모든 계층이 별도의 손실을 사용해 학습하도록 함
    • 하지만 본 논문의 Objective를 확인하면 위와 같은 표기가 없으므로 본 논문에서는 GD를 사용해 기울기가 죽는 현상을 방지했다고 보입니다.
  • 중간 계층 전후의 피쳐 맵을 통해 이미지를 재구성하는 GD를 사용해 별도의 손실을 계산함
    • Auxiliary loss와 유사하다 생각합니다.

Objective Function

• $x,y$ 는 각각 선화, 원본 컬러로 같은 이미지를 사용한다.
  • 원본 컬러에서 DoG, XDoG와 같은 방식으로 선화를 추출해서 사용하는 self learning으로 보인다.
• $G_f$ 는 U-NET 생성자
• $G_1, G_2$ 는 각각 Guied Decoder 1,2
• $V$ 는 사전 학습된(ImageNet) VGG19 네트워크의 첫 번째 FC 레이어(활성화 함수 미포함)
• $T$ 는 color image를 gray scale로 변환하는 함수
• GD에 사용된 $\alpha, \beta$ 값은 각각 0.3, 0.9
• 원본 수식에서는 $G_f(x,V(x))$ 로 표기되어 있지만, 네트워크 구조 그림을 확인하면 선화가 아니라 컬러 이미지로 생각합니다.

---

• $D$ 는 분류자(Discriminator)
• 분류자의 손실은 일반적인 BCE(BinaryCrossentropy) 손실을 사용해 학습을 진행합니다.
• 저자는 GPU 메모리 부족으로 AC-GAN이 아닌 2번의 전형적인 DCGAN에서 사용되는 손실 함수를 사용했다고 합니다.

---

• 최종 목적 함수는 위와 같음
• 아쉽게도 $L_{l_1}$에 사용되는 계수인 $\lambda$ 값은 논문에 기제되어 있지 않습니다.
• 하지만 Pix2Pix 생각하면 100 정도의 값이 사용되었을 것이라 추측합니다.

---

Result

---

---

참조

• https://github.com/reyllama/paper-reviews/issues/20