AdaIN Style Transfer

논문링크: 링크텍스트

코드:링크텍스트

AdaIN

• 장점

  • 임의의 스타일 이미지로부터 스타일 정보 가져오기 가능
  • 실시간으로 빠르게 스타일 전송 진행 가능(By 이미지의 특징의 statistics변경)

연구 배경

Style Reconstruction 과 Content Reconstruction 방법

1. Style Reconstruction

• Gram Matrix는 채널의 크기만큼 커진다

2. Content Reconstruction

• 깊어질수록 구체적인 픽셀 정보 소실

Batch Normalization

• 채널별로 정규화 수행

  • 각 채널에 적용할 파라미터 학습

Instance Normalization

• 개별적인 이미지에 대하여 각 채널별로 정규화 수행

  • 개별적인 샘플 이미지에 대해 수행한다는 점이 BN과 다르다

    

Conditional Instance Normalization

• IN 수행 시 조건에 따른 feature statistics갖게 함

• 서로 다른 affine 파라미터들을 적용해서 완전 다른 스타일 이미지 만든다

  • 32개의 스타일에 대해 성공적 학습

Main 아이디어

Adaptive Instance Normalization

• 연구 동기: CIN으로 feature statistics변경하여 style transfer효과를 낸다

  • 임의의 이미지로부터 스타일 가져오기 가능하다

• AdaIN을 이용하여 다른 원하는 이미지에서 스타일 정보 가져와 적용

  • 학습시킬 파라미터가 필요하지 않다
  • feed-forward 방식의 style transfer네트워크에 사용되어 좋은 성능을 보인다.
    

• 네트워크 중간에 AdaIN이 Style transfer역할 수행

• VGG Encoder: 특징 추출 목적으로 사전 학습되어 고정된 네트워크

• Decoder: 학습 네트워크 이자 결과 이미지 생성 역할

• 최종 목적함수: L = Lc + 람다Ls

• 콘텐츠 손실: Lc = ||f(g(t)) -t||2

• 스타일 손실:

• t= AdaIN(f(c),f(s)) : Style Transfer를 수행한 feature정보

• T(c,s) = g(t) : 디코더 거쳐 생성된 결과 이미지

Runtime Control

Content-style Trade- off

• 0에 가까울 수록 콘텐츠이미지와 가까운 결과가 나오게 된다.

Style Interpolation

• 수식:

• K개의 스타일 이미지에 존재하는 스타일을 골고루 섞기

• feature maps사이에서의 Interpolation간주