🙃Few-Shot Adversarial Learning of Realistic Neural Talking Head Models

⏰ 2019.05

Abstract

최근의 연구들은 Convolution NN을 훈련하여 매우 현실적인 인간 머리 이미지를 생성하는 방법을 보이고 있음. 이러한 개인화된 talking head model을 만들기 위해서는 일반적으로 한 인물의 많은 이미지 데이터를 필요로 함. 그러나 실용적인 상황에서는 단 한 장의 이미지로도 개인화된 talking head model을 학습해야하는 경우가 있음.

본 논문의 시스템은 대규모 비디오 데이터셋을 통하여 메타 학습을 수행한 후, 이전에 학습하지 않았던 사람들의 아주 적은 수의 이미지 데이터로부터 talking head model을 출력할 수 있음. 💡 Generator와 Discriminator (Adversarial 구조)를 사용하여, G 와 D를 특정 이눔ㄹ에 맞게 초기화하여 수백만 개의 파라미터를 튜닝해야하는 상황에서도 몇 장의 이미지로 빠르게 학습이 가능함.

1. Introduction

본 연구에서는 특정 개인의 표정과 말하는 모습을 합성할 수 있는 'talking head model => THM'을 만드는 과제를 다룸. 특히 얼굴의 랜드마크를 기반으로 사실적인 개인화된 THM 이미지를 합성하는 문제를 해결함.

➡️ 본 기술은 화상회의, 멀티플레이어 게임, 특수 효과 산업 등에서 실용적인 응용이 가능할 것으로 보임.

사실적인 THM 시퀀스를 합성하는 것은 두 가지 어려움이 있음.

🚨 1. 인간의 머리는 포토메트릭/기하학적/운동학적 복잡도가 높음; 얼굴뿐만 아니라 입 안, 머리카락, 옷 등도 모델링해야하기 때문임.

🚨 2. 인가의 시각 시스템은 작은 실수에도 민감하여, THM에서의 작은 오류도 쉽게 감지해버림. (불쾌한 골짜기 효과)

🙃 Uncanny Valley Effect(불쾌한 골짜기 효과): 인간과 매우 흡사하지만 어딘가 완벽하지는 못한 로봇, 애니메이션 캐릭터를 볼 때 사람들이 느끼는 불쾌감, 이질감.

🌿 해당 문제를 해결하기 위해 여러 연구들은 단일, 다수의 정적 프레임을 변형하여 머리 시퀀스를 합성하는 방식을 제안함.
⚠️ 그러나 이 방식은 움직임, 회전, 가려짐 등을 처리하는데 있어서 한계가 있음.

🌿 최근에는 Adversarial 학습을 사용
⚠️ 수백만 개의 매개변수와 대규모 사진 데이터셋 필요

💡 본 연구에서는 몇 장의 사진(Few-shot)과 제한된 훈련 시간을 THM을 만드는 시스템을 고안함.
➡️ 단일 사진만으로도 합리적인 결과를 생성이 가능함.

2. Related Work

🙃 Adversarial 훈련과 조건부 판별자 등의 아이디어를 활용하여 메타 학습 단계에서 적응형 인스턴스 정규화 메커니즘을 사용함.

• MAML: 메타 학습으로 이미지 분류기의 초기 상태를 얻음으로서 몇 가지 훈련 샘플만으로도 보이지 않는 클래스로 빠르게 수렴이 가능함.

➡️ 이와 비슷하게, Adversarial fine-tuning을 메타-학습 프레임워크로부터 초기 상태를 얻은 후에 적용함.

📌 메타 학습: 학습 알고리즘 자체를 학습하는 것.

3. Methods

3.1. Architecture and notation

⚙️ 메타-학습 단계에서는 서로 다른 사람들의 THM을 포함하는 M개의 비디오 시퀀스가 있다고 가정함. xi는 i번째 비디오 시퀀스이며, xi(t)는 t번째 프레임을 나타냄.

+) 학습/테스트 동안 모든 프레임에 대한 얼굴 랜드마크의 위치를 사용할 수 있다고 가정함.

➡️ 이를 얻기 위해 사전에 제작된 얼굴 정렬 코드를 활용하여 얼굴을 세 채널 이미지로 나타냄. yi(t)는 xi(t)에 대한 결과 랜드마크임.

1️⃣ 임베더 E(xi(s), yi(s); φ): 비디오 프레임 xi(s)와 관련된 랜드마크 이미지 yi(s)를 취하고, 이러한 입력을 N-차원 벡터 eˆi(s)로 매핑

2️⃣ 생성기 G(yi(t), eˆi; ψ, P): 임베더가 볼 수 없는 비디오 프레임에 대한 랜드마크 이미지 yi(t)와 예측된 비디오 임베딩 eˆi를 취하고, 합성된 비디오 프레임 xˆi(t)을 출력

3️⃣ 판별기 D(xi(t), yi(t), i; θ,W, w0, b): 판별기는 입력 프레임 xi(t)이 i번째 비디오 시퀀스의 실제 입력 포즈 yi(t)와 일치하는지 여부를 나타내는 단일 스칼라(실제 점수) r을 예측

3.2. Meta-learning stage

✅ 연구의 접근 방식: 메타-학습 단계에서는 모든 세 개의 네트워크의 매개변수가 Adversarial 방식으로 학습(K = 8로 설정) 에피소드를 시뮬레이션함으로써 이루어짐.

➡️ 각 에피소드에서는 훈련 비디오 시퀀스 i와 해당 시퀀스에서 단일 프레임 t를 무작위로 선택함. t 외에도 동일한 시퀀스에서 추가적인 K개의 프레임 s1, s2, ... , sK를 무작위로 선택함.

📌 이러한 추가 프레임들에 대해 예측된 임베딩 eˆi(sk)를 단순 평균하여 i번째 비디오 임베딩의 추정치 eˆi를 계산

• eˆi = 1/K * Σ(E(xi(sk), yi(sk); φ))

📌추정 임베딩 eˆi를 기반으로 t번째 프레임의 재구성 xˆi(t)을 계산

• xˆi(t) = G(yi(t), eˆi; ψ, P). (2)

📌 임베더와 생성기의 매개변수는 목적 함수를 최소화하기 위해 최적화
➡️ 목적 함수는 콘텐츠 항목, 적대적 항목 및 임베딩 일치 항목으로 구성

• L(φ, ψ,P, θ,W, w0, b) = LCNT(φ, ψ, P) + LADV(φ, ψ, P, θ,W, w0, b) + LMCH(φ,W).

+) 여기서 콘텐츠 손실 항목 LCNT는 퍼셉츠 유사도 측정 방법을 사용하여 실제 이미지 xi(t)와 재구성 xˆi(t) 사이의 거리를 측정함.

📌 아래의 목적 함수는 가짜 예제 xˆi(t)와 실제 예제 xi(t)의 실제성을 비교한 후, 판별기의 매개변수를 업데이트하여 가짜 예제의 점수를 -1 이하로, 실제 예제의 점수를 +1 이상으로 밀어냄.

➡️ 훈련은 임베더와 생성기를 교대로 업데이트하며, 이 과정에서 LCNT, LADV 및 LMCH 손실을 최소화하고 판별기의 손실인 LDSC를 최소화하도록 함.

➡️ 일전에 배웠던 GAN과 비슷한 구조로 Discriminator의의 x^i에 대한 판별은 maximize하는 방향으로 학습을 진행함.

3.3. Few-shot learning by fine-tuning

메타 학습이 수렴한 후, 합성은 랜드마크 이미지에 조건부로 이루어짐.

➡️ 이 시스템은 몇 장의 훈련 이미지 (예: 동일한 비디오의 T 프레임)와 해당 랜드마크 이미지가 주어졌을 때 학습됨.

• 새로운 시퀀스를 위한 임베딩을 추정하기 위해 메타 학습된 임베더를 사용 + 새로운 랜드마크 이미지에 해당하는 프레임을 생성하기 위해 추정된 임베딩과 메타 학습된 생성기 매개변수를 적용

⚠️ 이 방법으로 생성된 이미지는 그럴듯하고 현실적이지만, 높은 개인화 정도를 목표까지는 미치지 못함.

💡 이 차이는 미세 조정(fine-tuning) 단계를 통해 보완!

• Fine tuning은 단일 비디오 시퀀스와 소수의 프레임을 사용하는 메타 학습의 단순화 버전으로 볼 수 있음.

✅ 생성기 G(y(t), eˆNEW; ψ, P) ➡️ G0(y(t); ψ, ψ0)로 대체

• 생성기는 랜드마크 이미지 y(t)를 받아 합성된 프레임 xˆ(t)를 출력함. 생성기 파라미터 ψ0는 이제 사람 일반 파라미터 ψ와 함께 직접 최적화됨.

+) 메타 학습 단계에서 추정된 임베딩 eˆNEW와 프로젝션 매트릭스 P를 사용하여 ψ0를 초기화

✅ 판별기 D0(x(t), y(t); θ, w0, b)는 이전과 같이 실제성 점수를 계산

• ConvNet 부분 V(x(t), y(t); θ)의 파라미터 θ와 바이어스 b는 메타 학습 단계의 결과로 초기화

• 미세 조정 단계에서는 판별기의 현실성 점수가 메타 학습 단계와 유사하게 얻어짐.

• 대부분의 경우 fine-tuned된 생성기가 더 좋은 성능을 보였음!

4. Experiments

⚙️ 모델의 성능을 평가하기 위해 메타 학습 단계에서 보지 못했던 인물에 대해서 평가를 수행함.

• 평가를 위하여 VoxCeleb 테스트셋에서 50개의 비디오를 균일하게 샘플링, 각 비디오에 대해 32개의 holdout 프레임을 선택한 후에 비교 지표를 사용하여 생성된 이미지의 포토리얼리즘, 그리고 신원의 보존성을 측정했음.

+) 사용한 지표: FID, SSIM, CSIM

• 위의 표에서 나타난 것처럼 X2Face, Pix2pixHD와 비교하였을 때 유사성 지표에서 기준 모델들이 능가를 하나, 큰 신원 불일치성을 보였음. ➡️ 불쾌한 골짜기 아티팩트 생성한다는 의미

  🙃아래는 신기했던 다양한 모델의 결과값들!

  

  

5. Conclustion

본 연구는 새로운 모델을 만들기 위해 32장의 이미지로 훈련된 모델은 완벽한 현실성과 개인화 점수를 달성하였음. 주요 한계는 표정 표현과 랜드마크 적응 부족인데, 랜드마크는 시선을 표현하지 못함. 시선을 포함하려고 하면 눈에 띄는 불일치가 발생함.

🙃 여러 응용 프로그램을 통하여 사람의 형태를 조작할 필요가 없는 방안을 제시하였다는 점에서 접근 방식이 높은 현실적 해결책이 될 수 있을 것임.

---

🐵 랜드마크가시선을 표현하지 못한다는 한계가 있다고 했는데, 첫 번째 사진을 보면 랜드마크에 눈동자가 없음. 시선을 포함했을 때 불일치가 발생한다고 했는데, 눈동자를 그리지 않은 이유가 이러한 것인지 궁금해짐.