[ Prometheus Project ] 딥페이크 탐지
딥페이크 생성 방식에는 크게 타겟과 소스를 통해 새로운 신원(Identity)를 생성하는 신원 조작(Identity Swap) 방식과 타겟이 소스를 모방하게 하는 표정 조작(Facial reenactment)가 있다.
이 외에 우리가 주목하고자 하는 방식은
미세 얼굴 근육의 움직임과 시간적 일관성에 착안한 탐지 방식
으로, 생리학적/생물학적 신호 기반 탐지(Physiological/Biological Signal-based Detection) 기법이다.
생성형 AI 모델들이 이미지의 시각적 품질(픽셀의 정교함)은 완벽에 가깝게 구현하고 있지만, 인간의 생명 현상과 해부학적 물리 법칙까지는 아직 완벽히 학습하지 못했다는 약점을 파고든 방식이다.
1. 미세 얼굴 근육 동역학 (Facial Muscle Dynamics & Micro-expressions)
사람이 표정을 지을 때는 얼굴 피부 밑에 있는 수십 개의 근육들이 해부학적 구조에 따라 유기적으로 상호작용한다.
- 탐지 원리 : 딥페이크 AI (GAN, Diffusion, etc.)는 해부학을 배운 적이 없고 그저 '픽셀의 통계적 분포'만 학습한다. 따라서 가짜 영상에서는 실제 사람이라면 절대 동시에 움직일 수 없는 근육들이 함께 움직이거나, 진짜 웃음에서 나타나는 눈가의 미세한 떨림(Micro-expression)이 누락되는 등 해부학적 모순이 발생한다.
연구자들은 FACS(Facial Action Coding System)와 같은 도구를 이용하여 이러한 근육 움직임의 비정상 패턴을 탐지한다.
2. 시간적 비일관성 (Temporal Inconsistency)
영상은 정지 이미지의 연속이다. 인간의 근육 움직임은 시작-최고조-감소의 부드러운 시간적 곡선을 그린다.
- 탐지 원리 : 딥페이크 모델은 보통 영상을 통째로 생성하기보다 프레임 단위(Frame-by-frame)로 얼굴을 합성한 뒤 이어붙이는 방식을 많이 사용한다. 이 때문에 프레임과 프레임 사이를 분석해보면 근육의 움직임이 뚝뚝 끊기거나, 미세한 떨림(Flickering)이 발생하고, 표정의 전환 속도가 물리적으로 불가능할 만큼 빠르거나 느린 현상이 포착된다.
3. 혈류 및 심박동 변화 (rPPG: Remote Photoplethysmography)
실제 사람의 심장이 뛸 때마다 얼굴로 흐르는 혈류량이 달라지며, 육안으로는 보이지 않지만 카메라 렌즈에는 잡히는 미세한 피부 색상 변화가 일어난다.
-
탐지 원리 : 진짜 사람의 영상에서는 이 픽셀 변화를 증폭시키면 규칙적인 심장 박동(맥박) 신호를 추출할 수 있다. 하지만 딥페이크는 가짜 픽셀을 덮어씌운 것이기 때문에, 이 생리학적 맥박의 신호(rPPG)가 아예 소실되어 있거나 노이즈처럼 매우 불규칙적으로 나타난다.
(무의식적 생리 현상 - Blinking, Gaze, Breathing 등이 있음) -
초기 딥페이크는 학습 데이터에 눈을 감은 사진이 적어 눈을 비정상적으로 안깜빡이는 문제가 있었다. 모델이 발전한 지금도 '양쪽 눈이 완벽히 동시에 감기는지', '깜빡임의 속도와 주기가 인간의 생리적 리듬과 일치하는지', '말하는 소리(Phoneme)와 입술 근육의 형태(Viseme)가 정확히 일치하는지' 등을 분석하여 위조 여부를 판별한다.
🔥기존의 딥페이크 탐지는 얼굴 윤곽선의 블러 처리나 픽셀 깨짐과 같은 시작적 Artifact를 찾는 데에 집중했지만, 딥페이크 기술의 고도화와 함께 이런 시각적 결함은 사라지고 있다. 반면 생물학적 신호를 완벽하게 위조하려면 AI가 인간의 신경계, 혈관계, 근육계까지 모두 시뮬레이션해야 하므로 생성보다 탐지가 더 유리한 영역으로 평가받고 있다.
