[DL/CV] Combining EfficientNet and Vision Transformers for Video Deepfake Detection

🔗원문

• https://arxiv.org/pdf/2107.02612

📌github

• https://github.com/davide-coccomini/Combining-EfficientNet-and-Vision-Transformers-for-Video-Deepfake-Detection.

Abstract

점차 사실적인 딥페이크들이 생성되며, 딥페이크 탐지가 어려워지고 있다. 전통적으로 CNN이 딥페이크 탐지에 사용되어 왔고, 특히 EfficientNet B7 기반의 방법이 가장 우수한 결과를 보여주었다.
본 연구는 정교해지는 얼굴 생성에 따라 얼굴에 초점을 맞추고자 한다. 구체적으로 ViT를 CNN 기반의 EfficientNet B0과 결합해 특징 추출기로 사용하여 좋은 성과를 얻었다. 기존 좋은 연구들과 달리, distillation이나 ensemble 방법을 사용하지 않고, 같은 영상 내 여러 얼굴 처리를 위한 voting scheme를 기반으로 추론적인 절차를 제시한다. 본연구의 모델은 DFDC에서 AUC 0.951 그리고 F1-score 88%를 달성했다.

1. Introduction

딥페이크 생성 기술의 발전과 이 기술의 점점 더 쉬워지는 접근성으로 인해, 연구는 조작된 영상과 실제 영상을 구별하는 효과적인 방법을 찾는 데 집중해야 한다.
본 논문에서는 특히 EfficientNet B0와 다양한 유형의 비전 트랜스포머를 결합한 다양한 솔루션을 분석하고, 이를 현재의 최첨단 기술과 비교한다. ViT와 달리, CNN은 여전히 중요한 아키텍처적 특성을 유지하고 있는데, 이는 공간적 지역성(spatial locality)이다. 이 특성은 이미지 패치의 abnormalities을 발견하고 효율적인 데이터 처리를 유지하는 데 매우 중요하다.
또한, 본 논문에서는 영상에 대해 추론을 수행하기 위한 간단하지만 효과적인 voting mechanism을 제안한다.이 방법론이 더 나은 안정적인 결과를 이끌어낼 수 있음을 보여준다.

3. Method

먼저 원본 영상에서 MTCNN을 사용해 얼굴을 사전에 추출한다. 본연구는 사전 추출된 얼굴을 입력으로 받아 해당 얼굴이 조작되었을 확률을 출력하는 두 가지 혼합형 컨볼루션-트랜스포머 아키텍처를 제안한다.
이 두 아키텍처는 실험적으로 진짜와 가짜 사례를 구별하도록 지도 학습 방식으로 훈련되고 이진 분류 문제로 설정하여 해결한다. 구체적으로, Efficient ViT와 Convolutional Cross ViT를 제안한다. 제안된 모델들은 얼굴 단위로 훈련되며, 추론 시에는 시간적 및 여러 얼굴의 예측 결과를 종합하여 전체 영상에 대한 결론을 도출한다.

Efficient ViT

Efficient ViT는 두 개의 블록으로 구성되는데,
첫 번째는 feature extractor로 작동하는 컨볼루션 모듈이고, 두 번째는 ViT와 매우 유사한 설정의 Transformer Encoder이다.

EfficientNet이 딥페이크 탐지에 적합함을 고려하여, 본 연구는 EfficientNet 계열 중 가장 작은 EfficientNet B0를 입력 얼굴 데이터를 처리하는 컨볼루션 추출기로 사용했다. 구체적으로, EfficientNet은 입력된 얼굴에서 7×7 픽셀로 이루어진 청크별로 시각적 특징을 생성한다. 그런 다음 각 공간 위치의 특징은 linear projection을 거쳐 ViT에 의해 추가로 처리된다. 이 과정에서 CLS 토큰을 사용하여 이진 분류 점수를 생성한다. (아키텍처 - Fig.1a)

EfficientNet B0 feature extractor는 사전 학습된 가중치로 초기화되고, 마지막 레이어를 조정하여 이 특정 다운스트림 작업에 더 적합하고 일관된 피처 추출을 수행할 수 있도록 fine-tuning된다. EfficientNet B0 컨볼루션 네트워크에서 추출된 특징은 CNN이 이미 이미지에서 중요한 저수준의 국부 정보를 포함하고 있기 때문에 ViT의 학습 과정을 단순화한다.

Convolutional Cross ViT

Efficient ViT처럼 작은 패치만 사용하는 아키텍처로 제한하는 것은 최적의 선택이 아닐 수 있다. 왜냐하면 딥페이크 생성 기법이 도입한 artifacts은 local할 수도 있지만, global할 수도 있기 때문이다. 이를 해결하기 위해 본 연구는 Convolutional Cross ViT 아키텍처를 도입했다. Convolutional Cross ViT는 Efficient ViT와 다중 스케일 Transformer 아키텍처를 기반으로 설계되었다.

Convolutional Cross ViT는 두 개의 분리된 branch를 사용하는데, S-branch는 더 작은 패치를 처리하고, L-branch는 더 넓은 receptive field를 가지기 위해 더 큰 패치를 처리한다. 두 branch에서 Transformer Encoder에 의해 생성된 시각적 토큰은 cross attention를 통해 결합되어, 두 경로 간의 직접적인 상호작용을 가능하게 한다. 마지막으로 두 branch에서 출력된 CLS 토큰은 각각 두 개의 별도 logit을 생성하는 데 사용된다. 이 logit은 합산된 후 최종적으로 sigmoid 함수를 통해 확률로 변환된다. (아키텍처 - Fig.1b)

여기에서는 두 가지 서로 다른 CNN 백본을 사용하는데, 첫 번째는 EfficientNet B0로 S-분기에서 7×7 이미지 패치와 L-분기에서 54×54 이미지 패치를 처리합니다. 두 번째는 Convolutional Vision Transformer(ConViT)의 CNN으로, S-분기에서 7×7 이미지 패치와 L-분기에서 64×64 이미지 패치를 처리한다.

[ConViT]

• (Wodajo, D., Atnafu, S.: Deepfake video detection using convolutional vision transformer. arXiv preprint arXiv:2102.11126 (2021))
• CNN과 Vision Transformer를 결합한 이 아키텍처가 딥페이크 탐지에서 전통적인 CNN이나 단일 Transformer 아키텍처보다 더 효과적이라고 주장
• 특히 CNN은 이미지의 저수준 및 국소 정보를 잘 학습하며, Transformer는 글로벌 정보와 패턴을 더 잘 학습한다는 점에서 상호 보완적임
• 즉 이 CNN은 S-분기와 L-분기에서 서로 다른 크기의 패치를 처리하며, 멀티스케일 정보를 Transformer와 결합해 딥페이크 탐지 성능을 높이는 데 중요한 역할을 함

4. Experiments

4.1 Datasets and Face Extraction

• 데이터셋으로 FaceForensics++, DFDC 사용
• MTCNN을 사용해 비디오에서 얼굴 추출
• Albumentations를 사용해 블러, 가우시안 노이즈, 전치, 회전 등 다양한 크기 조정을 포함한 변환 적용

4.2 Training

• 두 데이터셋에서 추출된 총 220,444개 얼굴 사용해 훈련, DFDC의 8070개 얼굴을 검증용으로 사용
• Binary cross-entropy loss를 손실 함수로 사용

4.3 Inference

0.55의 real/fake threshold를 설정했다. 그러나 비디오 내 개별 얼굴에 대한 모든 점수를 무작위로 평균화하는 대신, 약간 더 정교한 투표 절차를 사용했다.
구체적으로, 점수를 배우의 식별자별로 그룹화하여 결합했다. 얼굴 식별자는 사용한 MTCNN 얼굴 탐지기의 출력으로 제공된다. 여러 배우로부터 얻은 점수는 시간에 걸쳐 평균화되어 얼굴이 가짜일 확률을 산출한다. 그런 다음 배우별 점수는 hard voting을 사용하여 결합된다. 특히 임계값을 초과한 배우의 얼굴이 적어도 하나라도 있는 경우, 해당 비디오는 가짜로 분류된다. 본 연구는 이 접근 방식이 한 배우의 얼굴만 조작된 비디오를 더 잘 처리하는 데 유용하다고 주장한다.

또한 inference할 때, 고려되는 얼굴의 수가 변함에 따라 성능이 어떻게 변하는지 평가하는 것도 중요하기에, 테스트가 가능한 가볍고 효율적으로 수행될 수 있도록, 네트워크 중 하나를 사용하여 테스트 시 고려되는 얼굴 수가 F1 점수에 어떤 영향을 미치는지 실험했다(Fig.2b).
30개 이상의 얼굴을 사용하는 것은 통계적으로 무의미하며 30개 이하의 얼굴을 사용할 때 안정적인 성능이 달성된다는 것을 발견했다.

4.4 Results

표 1은 EfficientNet을 사용하여 개발한 모든 모델이 ConViT보다 AUC와 F1 점수에서 훨씬 더 높은 성능을 달성했음을 보여준다. 이는 EfficientNet구조가 이 작업 유형에 더 적합할 가능성을 입증하는 결과이다. 또한, Cross Vision Transformer를 기반으로 한 모델들이 가장 우수한 결과를 얻으며, local 및 global한 이미지 처리를 결합하는 것이 더 나은 이상 탐지로 이어진다는 이론을 확인할 수 있었다.

Cross Vision Transformer 기반 모델들은 EfficientNet B0를 patch extractor로 사용할 때 특히 두드러진 향상을 보여준다. AUC와 F1 점수는 다른 최신 방법들보다 약간 낮지만, 이러한 결과는distillation나 ensemble기술을 사용하지 않고 얻은 것이다. 이러한 기술은 훈련과 추론을 더욱 복잡하게 만들기 때문에 본 연구의 접근 방식이 단순하면서도 효과적이라는 점을 강조한다. 실제로, EfficientNet 기반의 Cross Vision Transformer는 상위 방법들에 비해 1/3 이하의 파라미터만 사용하면서도 경쟁력 있는 성능을 달성했다.

또한, 표 1의 마지막 두 행에서는 inference 시 모든 얼굴 점수를 단순히 평균 내는 방식과 비교했을 때, q본연구가 제안한 투표 절차를 사용하면 결과가 약간 더 개선될 수 있음을 보여준다. 이는 이 방법이 보다 세밀하고 안정적인 결과를 제공함을 의미한다. Fig.3에서는 DFDC 데이터셋에 대해 본 연구의 아키텍처와 다른 모델들을 비교한 상세한 ROC 곡선을 나타낸다.