딥페이크 생성 AI는 보통 영상을 통쨰로 한 번에 만들지 못하고, 영상의 프레임을 한 장씩 조작한 뒤 이어 붙인다.

따라서 정지된 한 장의 이미지는 완벽해 보일지 몰라도, 이 프레임들이 연속적으로 재생될 때 미세한 떨림, 픽셀의 튀는 현상, 부자연스러운 조명 변화 등이 발생하낟.

이 방법론은 바로 시간적 비일관성을 잡는 데에 특화되어 있다.

Introduction

최근 온라인상에서 잘못된 정보의 확산이 증가하고 있으며, 그 중에서도 얼굴 조작(Facial Manipulation)이 허위 정보 유포나 유명인의 명예를 훼손하는 수단으로 큰 주목을 받고 있다.

인류 사회에서 얼굴은 소통과 신원 확인의 주요 수단이기 때문에 다른 어떤 객체보다 조작의 우선적인 대상이 된다.

과거에는 포토샵 같은 SW 기반 수작업으로 지루하게 미디어를 조작하는 행위가 많았지만, 최근에는 GAN과 GPU의 발전으로 인해 비전문가도 기계 학습 도구를 사용하여 수작업 개입 없이 매우 사실적인 합성 콘텐츠를 쉽게 생성할 수 있게 되었다.

이러한 기술로 만들어진 결과물은 너무 정교해서 사람조차도 단일 이미지에서는 머리카락의 끊어짐, 얼굴의 비대칭, 부자연스러운 치아 및 배경의 불일치 같은 매우 미세한 단서로만 조작 여부를 간신히 판단할 수 있을 정도이다.

기존 방어책의 한계 : 정지 이미지의 맹점

위에서 말했듯, 현재 인간이 Fake 단일 이미지 한 장을 판별할 수 있는 단서는 끊어진 머리카착, 비대칭 얼굴, 비대칭 치아 구조, 배경 불일치 등 아주 미세한 Artifact인데, 특히 머리 전체와 배경을 렌더링하는 StarGAN 같은 생성 모델에서는 이런 배경 Artifact가 두드러진다.

연구진들은 정지 이미지 결함을 찾는 탐지기도 중요하지만, 동영상 스트림에는 조작을 탐지할 수 있는 완전히 새롭고 중요한 특징인 시간적 일관성(Temporal Coherence)이 내재되어 있다고 강조하며 문제의 패러다임을 비디오로 전환한다.

기존 Deep Fake 기술은 보통 Frame-by-Frame으로 조작하기 때문에 동영상 전체에 걸친 시간적 일관성(Temporal Coherence)를 보장하지 못하는 한계가 있다.

시간적 불일치 (Temporal discrepancies)를 어떻게 탐지할까?

논문에서는 시간적 불일치(Temporal Coherence)를 효과적으로 탐지하기 위해 순환 합성곱 모델(Recurrent Convolutional Models)과 얼굴 정렬(Face Alignment)를 결합한 파이프라인을 제안한다.

Related Work

동영상 내 DeepFake 탐지 기술의 발전 과정을 세 가지로 나누어 설명한다.

1. Video Processing with Deep Models

논문은 비디오의 시간적 정보를 처리하기 위한 기존의 세 가지 주요 접근법을 분석한다.

• Two-stream 네트워크
  RGB 프레임과 Optical Flow를 각각 처리한 뒤 융합하는 방식이다. 큰 동작을 인식하는 데에는 좋지만, 딥페이크 특유의 미세한 깜빡임 같은 Artifact를 포착하는 데에는 적합하지 않다라고 지적한다.

• 3D CNN
  공간과 시간을 동시에 학습하여 풍부한 특징을 얻을 수 있지만, 학습해야할 파라미터 수가 기하급수적으로 늘어나는 단점이 있다.

• 단일 스트림 CNN + RNN
  CNN을 통해 각 프레임에서 고수준의 의미론적 특징을 추출하고, 그 위에 순환 모델(RNN)을 올려 시간적 차원의 의사 결정을 수행하는 방식이다.
  본 논문이 채택한 방식이며, 기존에는 얼굴 랜드마크 탐지나 나이 변화 예측 등에 쓰였으나, 동영상 조작 탐지에 적용된 사례를 거의 없었다.

2. Face Manipulation Benchmarks

과거에는 비디오 기반의 딥페이크 탐지 성능을 제대로 평가할 만한 데이터셋이 부족했다. 그러나 최근 FaceForensics(FF)와 이를 확장한 FaceForensics++(FF++) 데이터셋이 공개되면서 연구가 활발해지고 있다.

• FF++ 는 유튜브에서 수집한 정면 아나운서나 인터뷰 영상 등 총 1,000 개의 비디오로 구성되어 있다.
• FF++ 는 AutoEncoder 인공지능을 활용하여 사람의 얼굴을 아예 다른 사람으로 바꾸는 DeepFake, 컴퓨터 그래픽을 기반으로 신원을 바꾸는 FaceSwap, 신원은 그대로 둔 채 표정과 포즈만 타겟 영상에 이식하는 그래픽 기반 Face2Face가 있다.

3. Face Manipulation Detection

이미지 조작 탐지에 비해 비디오 기반 탐지 연구는 아직 초기 단계이다. 기존의 베이스라인 모델들과 연구진들의 결정적 차별점으로 세 가지 측면에서 설명한다

• 기존 베이스라인 모델들 : XceptionNet을 이용한 연구, Micro한 특징과 Macro한 특징을 결합한 MesoNet 등의 선행 연구가 있다.
• 차별성 1 : 단순 프레임을 넣는 것이 아니라, 얼굴 정렬(Face Alignment) 기법을 사용하여 얼굴의 자연스러운 움직임이 주는 교란 요인을 제거한다.
• 차별성 2 : 단방향이 아닌 양방향(bidirectional) 순환 모델을 활용하여 탐지 성능을 높인다.
• 차별성 3 : 딥페이크 탐지에만 국한되지 않고, 여러 유형의 얼굴 조작(Deepfake, FaceSwap, Face2Face)을 모두 탐지할 수 있도록 실험을 확장한다.

Method

연구진들은 딥페이크 비디오 탐지를 위해 과정을 두 단계로 나누어 설계하였다.

1. Face Preprocessing

첫 번째 과정에서는 프레임 전체에 걸쳐 시⋅공간적으로 얼굴을 고정시키는 Face Tublet을 생성하여 순환 합성곱 모델의 입력으로 사용한다.

이를 위해 두 가지 정렬 방식을 실험한다.

• 랜드마크 기반 정렬 (Landmark-based Alignment)
  얼굴의 7개 주요 특징점을 기반으로 얼굴을 사전 정의된 기준 좌표계에 맞추는 방식이다. 2D 이동, 평면 내 회전, 크기 조절 등을 보정하는 유사성 변환(Similarity Transformation)을 수행하여 얼굴을 224x224 해상도로 Cropping 한다.
• 암시적 정렬 (Spatial Transformer Network, STN)
  학습 가능한 Affine Transformation 파라미터를 사용하여 공간적 정렬을 수행하는 네트워크를 활용한다.
  Localization Net, Grid Generator, Sampler로 구성되며, 입력 이미지의 조건에 따라 네트워크 소스로 정렬 매개변수를 예측하여 얼굴의 특정 부분에 zoom 하도록 유도한다.

2. Video-based Face Manipulation Detection

이 단계에서는 전처리된 프레임 시퀸스를 입력받아 조작 여부를 판단하며, 기존 방식들과 달리 전체 시스템을 End-to-End로 학습시키는 것이 특징이다.

조작 기술이 보통 프레임 단위로 적용되기 떄문에, 얼굴의 미세한 저수준의 Artifact가 프레임 간의 시간적 불일치(Temporal Discrepancies)로 나타난다는 직관에 기반한다.
- Backbone CNN
각 프레임에서 시각적 특징을 추출하기 위해 ResNet과 DenseNet 아케텍처를 사용한다.
조작으로 인해 끊어진 턱선이나 흐릿한 눈과 같은 현상은 고수준의 의미론적 특징보다는 저수준 (low-level)특징에 더 잘 나타나기 때문에, 여러 계층 구조에서 다양한 수준의 특징을 추출할 수 있는 DenseNet이 문제에 매우 적합하다.

Backbone 네트워크는 처음에는 진짜와 가짜를 구별하는 이진 분류를 위한 Cross-Entropy Loss를 최소화하며 단일 프레임 기반으로 사전 학습된다.

• RNN Training Strategies
  - Multi-Recurrent