Toonify

Transfer Learning

• 뒷부분의 가중치를 바꿔주어 학습
  -> pre-trained한거와 trainable를 사용하여 자신의 task를 만듦

전이학습 구현 방식

Freezing

• 앞부분의 레이어는 얼려서 학습하지 않고, 마지막 레이어(FC레이어)만 학습
  -> 별도로 교체한 레이어만 학습
• 오버피팅 문제는 해결되지만 새로 학습할 수 있는 가중치가 적어져 클래스가 많아질 때는 성능이 fine-tuning보다 안좋다

Fine-tuning

• 모든 레이어를 학습
  -> pretrain 가중치도 조금씩 학습시킴

Resolution Dependent GAN Interpolation

• 두개의 StyleGAN 네트워크를 이용해 이미지 도메인 섞기 수행
  • FFHQ 데이터 세트로 학습된 기본적인 StyleGAN에서 생성된 이미지
  • ukiyo-e 데이터 세트로 전이 학습된 StyleGAN에서 생성된 이미지
    두개의 StyleGAN을 적절히 섞은 네트워크에서 생성
    

Layer Swapping

• 두 개의 서로 다른 도메인(서로 다른 데이터 세트) 특징이 섞인 이미지 만듦
  

propose

1. pre-trained model
2. new dataset로 transfer model생성
3. interpolation model를 만든다
   

• 어떤 모델에서 가중치를 더 가져올지

과정

1. 베이스 모델(ffhq)를 전이 학습하여 toonify model 생성
2. 베이스 모델과 toonify model interpolationg 하여 blended model 생성
3. 베이스 모델에서 특정 사람 이미지 인코딩 latent codes w를 얻음
4. latent codes w를 blended 모델에 넣어 toonifycation 결과 나옴

출처: https://www.youtube.com/watch?v=pBoClHDFamE