[AdaIN] Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

Arbitrary Style Transfer in Real-time with Adaptive Instance Normalization

Huang, X., and Belongie, S., Arbitrary style transfer in real-time with adaptive instance normalization. In Proc. of ICCV., pp. 1501-1510., 2017.

AdaIN이 등장하기 이전 고전적인 문제

1. Gatys et al. 이 발표한 “Image style transfer using convolutional neural networks”는 여러 스타일을 적용 할 수 있지만 iterative optimization을 사용하기 때문에 속도의 성능 측면에서 매우 느리다는 단점이 있다.
2. 느린 속도를 해결하기 위해 feed-forward 을 사용한 Ulyanov et al. 가 제시한 방식은 제한된 style을 적용해야 한다는 단점이 있다.
3. 최근 발표된 Chen and Schmidt의 방식은 swap layer를 이용하여 feed-forward와 여러 스타일을 적용 할 수 있지만 swap layer가 계산의 95%를 사용하기 때문에 비교적 느린 성능을 보이고 있어 실시간으로 사용하기엔 적합하지 않다.

딜레마

• 속도를 향상 시킬 경우 제한된 스타일밖에 적용할 수 없고
  스타일의 제한을 완화 시킬 경우 속도의 손해를 보는 딜레마에 빠지게 된다.
  
  -> AdaIN이 등장!

Batch Normalization (BN) vs Instance Normalization (IN)

Conditional Instance normalization (CIN)

Adaptive Instance normalization (AdaIN)

overview

Loss

→ Gram matrix가 있다는 것을 알지만 이전의 기술들과 비교하기 위해 동일하게 perceptual loss를 사용했다.