📌 StyleGAN의 변천사

StyleGAN1

PGGAN 구조에서 Style transfer 개념을 적용하여 G(생성자) 아키텍쳐를 재구성함

style을 scale-specific control 가능하게 됨

VGG 신경망(이미지를 잘 분류할 수 있게 학습된 신경망)

1. PGGAN(ProGAN - progressively : 점진적)

PGGAN은 저해상도부터 고해상도까지 점진적으로 생성하는 대표적 생성 모델

latent vector z 가 Normalize을 거쳐 모델에 바로 입력이 되는 형태로 학습 진행

z가 Generator에 바로 입력으로 들어가면 GAN은 latent space(잠재공간)가 무조건 학습 데이터셋의 확률분포와 비슷한 형태로 만들어 지도록 학습을 하게 됩니다.

이렇게 되면 latent space가 entangle하게 만들어 지게 됩니다.

entangle

서로 얽혀 있는 상태여서 특징 구분이 어려운 상태. 즉, 각 특징들이 서로 얽혀있어서 구분이 안됨

disentangle

각 style들이 잘 구분 되어있는 상태여서 어느 방향으로 가면 A라는 특징이 변하고 B라는 특징이 변하게 되어서 특징들이 잘 분리가 되어있다는 의미.

선형적으로 변수를 변경했을 때 어떤 결과물의 feature인지 예측할 수 있는 상태.

메인 아이디어

• 학습 과정에서 레이어 추가
• 고해상도 이미지 학습 성공

한계점

• 이미지의 특징 제어가 어려움
• 특징이 구분되어 있지 않아서 특정 부분을 수정할때 여러 특징이 같이 개입되는 현상이 발생

---

StyleGAN

핵심 아이디어 : 매핑 네트워크(Mapping Network)

가우시안 분포에서 샘플링한 z 네트워크를 직접 사용하지 않고, 매핑 네트워크를 거쳐서 w벡터로 바꿔주고, w벡터를 네트워크에 넣어줘서 이미지를 샘플링 할 때 훨씬 **각 특징들이 적절히 선형적**으로 구분됨

어짜피 랜덤한 정보는 W에 다 들어가있으니 적당히 변형시켜서 여러 스케일에 집어넣어주자

Style Transfer + GAN= StyleGAN 스타일 개념을 이미지를 만드는 GAN에 적용한것

Style Transfer는 CNN을 활용해 이미지의 스타일(style)을 전송하는 방법이다

Style 은 서로 다른 특징(피쳐) 간의 상관관계(correlation)이다

다양한 스타일을 분리해서 **원하는 스타일을 적용**할 수 있다는점이 장점

각자의 특징이 disentangle 되어있기에 가능한것

StyleGAN을 적용하고자 한 이유가 각 파도의 특징을 가져와서 기존에 없던 새로운 파도영상을 만들기 위한 툴로 적합했기 때문

모델에서 나온 정보들을 다른 스케일에 넣어서 세부적인 스타일부터 넓은 스타일까지 학습이 된다는게 StyleGAN의 메인 포인트

StyleGAN을 이용하면 실제로는 존재하지 않지만, 굉장히 그럴싸한 1024 x 1024의 고해상도 얼굴 이미지를 만들 수 있습니다.

실시간 얼굴 생성
https://thispersondoesnotexist.com/

StyleGAN은 **이미지 생성 분야**에서 잘 동작한다고 알려진 **많은 테크닉들을 포함**하고 있는 논문이라 입문자분들께는 난이도가 높습니다. StyleGAN을 온전히 이해하려면 딥러닝에서의 **Deep Convolutional GAN**, **Style Transfer**, **Feature Extracting**, **Instance Normalization** 등의 개념을 모두 알고 있어야 합니다.
-동빈나

GAN에서는 input space(Z) → latent space로 기술됨

장점

1. 특질 분리 : StyleGAN에서는 특질(자세, 눈의 모양, 개인의 특이점등) 을 분리할 수 있다.

   사람 얼굴 특징에 대한 라벨링을 컴퓨터가 알아서 찾게 만드는것.

   (a) 빈 공간은 사람의 특징에 해당도지 않는 부분

   (b) (a)를 어거지로 만들다 보니까 w일그러진 원형이 됨 (매우 예측하기 힘든 데이터가 됨)

   Latent z가 원래부터 (a)와 같은 모양이 아닌 이상 아주 어려운 작업임

   (c) StyleGAN은 본질적으로 z가 어떤 모양일 지 모르니까 (a)와 비슷한 환경 분포를 가지도록 미리 래핑을 하고 들어가자.

   미리 non-linear하게 확률 공간을 찰흑처럼 잘 만져주고 (c)를 통해서 확률분포를 학습시키게 하면 최종적으로 훨씬 쉽지 않을까?

   원래 공간에(a) 있던 선형적인 구조도 상대적으로 잘 보존되지 않겠나?

   **매핑 네트워크**를 써서 변화시킨게 성능 향상에 기여를 했다!

   W 공간을 이용해서 학습을 함.

2. AdaIN 은 위 아키텍처에 적용하기 적당한 normalization 이다

   W가 영향도 미치면서 normalization 할 수 있는 방법

   특징간에 영향을 미치지 않고 각 스케일에서만 영향을 끼칠 수 있도록 분리해주는것이 필요했는데

   마침 AdaIN이 특질 분리에 좋은 역할을 끼쳤다

1. mixing regularization (z1, z2, ...) 각각의 스케일에 각각의 z를 넣어서 학습하면 두명의 다른 사람 얼굴 학습한 것처럼 될 것이다.

   서로 다른 두 z1, z2를 섞어서 사용하고, 인접한 스케일의 특질 사이의 연관성을 낮춘다.

   

   장점 : Latent z 에 있는 특징들은 독립일 수 있지만 계산을 통해 나온 W들은 독립이 아닐 수 있다(랜덤하게 섞였으니까)

   머리가 검은 사람은 항상 쌍꺼풀이 나오도록 특징이 연관될 확률이 높다.

   **single Latent z가 W 하나만 학습** 할 때 학습 데이터셋에서 드물게 대머리인 사람은 항상 선글라스를 착용하고 있는 데이터가 있다.

   생성자(G)가 학습하다가 **선글라스 == 대머리** 라는 correlation 이 발생하여 오버피팅이 일어날 가능성이 많아짐

   그래서 특질들끼리 잘 분리가 되게 끔 만듦

   

   작은 스케일의 정보 : 곱슬머리, 머리카락 위치, 주근깨 등등
   큰 스케일의 정보 : 피부색, 자세, 얼굴 각도 등등

   Coarse styles(4^2 - 8^2) : 안경과 머리카락, 눈, 카메라 구도
   Middle styles(16^2 - 32^2) : 얼굴 형태, 특정 가구
   Fine styles(64^2 - 1024^2) : 주로 색깔의 영역, 세밀한 색상, 재질등

   

   StyleGAN Latent 벡터 z가 뉴럴네트워크(풀리커넥티드FC)를 한번 비선형적으로 맵핑이 된 W라는 것을 쓰고 있고 한 과정이 진행될 때 마다 업샘플링이 진행되는데 (처음부터 큰 이미지를 만드는게 쉽지 않으니까 작은 이미지부터 만들어서 점차 큰 이미지를 만들어 나가는 방식 - 작은 이미지를 픽셀 4배로 해서 점핑 시키면 이미지가 깨져 있을테니 그걸 다시 뉴럴네트워크에 넣고 돌림)

   • Style을 한번에 다 집어 넣는건 매우 어렵고 뉴럴 네트워크가 그걸 분리해서 이해하는것도 어려울것이다
   • W는 A(아핀변환)을 통해서 AdaIN에 들어가는 스타일의 정보가 될 수 있게 만들어 줌
   2. 부분 변화 샘플링

   기존 G(생성자)는 랜덤 인풋이 초기 Z 하나 뿐이기에, 더 큰 스케일에서 랜덤 넘버가 필요하면 이전의 값에서 이를 추출해와야 한다.

   때문에 각 채널마다 다른 노이즈를(B) 넣어주면 그럴 필요가 없다!

   가우시안 노이즈들도 따로 만들어서 각 레이어에 변환해서 집어넣고 있다.

   각 스케일이 올라갈때마다 스타일과 노이즈를 집어넣어서 학습시킨다

   • 중요한 특징은 보존한 채 세부적인 부분(머리카락의 위치, 주근깨 등)의 변화만 주는 샘플링 가능

   한계 : 물방울 형태의(blob) 번진듯한 느낌이 자주 관측이 되었다.

   이 결과들이 어디서 나오고 왜 나오는지에 대한 StyleGAN2가 나왔다

   물방울이 없을때 이미지의 퀄리티가 나빠지는 결과가 나왔다

   이를 개선해서 StyleGAN2를 만들었다.

   결론

   각 style을 담당하는 layer에 style w을 AdaIN을 통해서 입력해주는 방법으로 학습 함으로 써 원하는 style로 변형을 시켜줄 수 있는 모델이다.

---

StyleGAN2

기존 1의 문제

1. Droplet artifacts

   1. 물방울 노이즈를 제거하게 되면 이미지에 손상이 생김

   conv 레이어 사이에 있는것들을 밖으로 빼내어 conv와 conv 사이 feature의 관계에 영향을 없앰으로서 퍼포먼스를 증가 시켰다

   

1. AdaIn(adaptive instance normalization)

   1. AdaIN을 이용하면 피쳐맵마다 각 평균과 분산으로 normalization 합니다. 즉 입력값의 통계량을 이용하는 것이지요. 그런데 이 방식은 피쳐맵들 사이에 상대적인 크기 차이가 있을 경우, 이 정보를 왜곡합니다.
   2. StyleGAN2에서는 문제가 있었던 AdaIN를 수정했습니다. 뿐만 아니라, 아키텍쳐와 학습 방식에도 변화를 주어 생성 이미지의 품질이 더욱 향상 되었습니다.

2. PPL이 낮은 사진이 더 품질이 좋다.

E. Phase artifacts

• 기존의 MSG-GAN 구조를 변형
• 눈이나 이빨의 모양은 잘 생성 되지만 자세를 바꿔도 치아의 위치가 고정이 되지 않는 현상이 생겨
• StyleGAN2 에서는 이를 해결하고자 progressive growing 학습방법을 채택하지 않음

F . 네트워크 크기를 키웠다

• 1024*1024의 contribution이 크게 증가했다
• FID 스코어도 낮아지는 결과

StyleGAN3

alias-free 한 네트워크 제안

• StyleGAN3는 FID도 괜찮으며 equivarince도 좋다고 보고, training 속도 개선 + 연산 최적화 진행하였으며, unaligned image에 대해 실험했다고 합니다.
• Fourier feature라는 새로운 좌표계에서 이미지 생성을 시작하기 때문에 signal뿐만 아니라 phase 정보도 encoding할 수 있게 되었고, positional encoding 정보도 explicit하게 줄 수 있게 되었다고 합니다.