Orthogonal Subspace Decomposition for Generalizable AI-Generated Image Detection

lit·2025년 11월 2일

Abstract

자연 이미지나 얼굴 이미지와 같은 AI 생성 이미지(AIGI)는 점점 더 중요해지고 있지만 도전적인 과제가 되고 있습니다.
본 논문에서는 AIGI 탐지에서 일반화가 실패하는 이유를 탐구하기 위해 새로운 관점에서 접근하며 이를 '비대칭 현상(asymmetry phenomenon)'이라고 명명합니다.
이 현상은 단순하게 훈련된 탐지기가 제한적이고 단조로운 가짜 패턴에 과적합되는 경향을 보이는 것을 의미하며 이로 인해 feature space가 고도로 제약되고 low-ranked를 갖게 되어 모델의 표현력과 일반화 성능을 심각하게 제한한다는 것이 증명되었습니다.

이에 대한 잠재적인 해결책 중 하나는 (더 높은 랭크를 가진) 비전 파운데이션 모델 내의 사전 학습된 지식을 통합하여 특징 공간을 확장함으로써 모델이 가짜 패턴에 과적합되는 것을 완화하는 것입니다.
이를 위해 Singular Value Decomposition (SVD)를 사용하여 원본 특징 공간을 두 개의 orthogonal subspaces로 분해합니다.
주성분은 고정하고 나머지 성분들만 adapting시킴으로써, 사전 학습된 지식은 보존하는 동시에 가짜 패턴을 학습할 수 있습니다.

기존의 전체 파라미터 튜닝 방식이나 LoRA 기반 튜닝 방식과 비교하여, 저희의 방법은 명시적으로 orthogonality을 보장함으로써 전체 특징 공간이 더 높은 랭크를 갖도록 하며, 이를 통해 효과적으로 과적합을 최소화하고 일반화 성능을 향상시킵니다.

'가짜는 실제로부터 파생된다'는 핵심적인 사전 지식을 암묵적으로 학습하며 이는 두 관계가 독립적이기보다는 hierarchical 관계임을 시사합니다.
이러한 사전 지식을 모델링하는 것이 뛰어난 일반화 성능을 달성하는 데 필수적이라고 믿습니다.

Introduction

AI 생성 기술의 급속한 발전은 매우 사실적인 가짜 이미지를 만드는 장벽을 크게 낮추었습니다.
비교적 쉽게 고품질 콘텐츠를 생산할 수 있는 능력에 힘입어 AI 생성 이미지(AIGI1)의 확산은 상당한 주목을 받았습니다.
그러나 이러한 발전은 개인 정보 침해, 허위 정보 유포, 디지털 미디어에 대한 신뢰 침식과 같은 딥페이크 및 얼굴 재연 등 악의적인 목적으로 오용될 경우 심각한 위험을 초래합니다.
결과적으로, AIGI를 탐지하기 위한 신뢰할 수 있고 견고한 프레임워크를 개발할 시급한 필요성이 대두되었습니다.

AIGI 탐지에 관한 대부분의 기존 연구는 일반적으로 실제/가짜 분류 문제를 "고양이 대 강아지" 문제와 유사한 대칭적인 이진 분류 작업으로 접근합니다.
종종 딥러닝 네트워크에 기반한 표준 이진 분류기는 추론 중에 주어진 테스트 이미지가 가짜일 가능성을 예측함으로써 실제 이미지와 가짜 이미지를 구별하도록 훈련됩니다.
이러한 패러다임은 (가짜 생성 방법 측면에서) 훈련 및 테스트 분포가 유사할 때 유망한 결과를 내지만, 이전에 본 적 없는(unseen) 가짜 생성 방법에 적용될 때 성능이 크게 저하되는 경향이 있어 일반화 문제를 나타냅니다.

AIGI 탐지에서 비대칭 현상(asymmetry phenomenon)을 확인했습니다:
순진하게 훈련된 탐지기는 지름길을 택하는 경향이 있으며 훈련 세트에 제시된 제한된 가짜 패턴에 매우 빠르게 과적합됩니다.
그림 1의 시각화는 이러한 주장을 뒷받침합니다.
구체적으로, 바닐라 탐지기는 매우 이른 훈련 단계(단 몇 번의 반복)에서 가짜 패턴에 빠르게 적합되어 가짜 이미지에 대한 손실(loss)은 매우 낮아지는 반면, 실제 이미지에 대한 손실은 가짜 이미지에 대한 손실보다 현저하게(약 100배) 더 높습니다.
이는 기존 AIGI 탐지 데이터셋이 일반적으로 제한적이고 동질적인 가짜 유형을 포함하는 반면, 실제 샘플은 다양한 범주 및 시나리오와 같이 서로 간에 훨씬 더 큰 다양성과 분산을 보이기 때문일 것입니다.

결과적으로 학습된 특징 공간은 가짜 데이터에 의해 지배되고(fake-dominated) 따라서 고도로 제한됩니다.
그림 2의 t-SNE 시각화에서 볼 수 있듯이 전체 특징 공간이 실제로 위조 패턴에 의해 지배된다는 것을 알 수 있습니다.
Xception(바닐라 CNN)과 CLIP 탐지기 모두 훈련 세트 내의 특정 가짜 패턴만을 단일 클러스터로 그룹화하는 반면, 실제 샘플 및 처음 보는 위조 샘플을 포함한 다른 모든 데이터는 별도의 클러스터로 매핑됩니다.

이를 정량화하기 위해 주성분 분석(PCA)을 통해 모델의 특징 공간에 포함된 유효 정보2를 분석합니다.
그림 3에서 모델 특징 공간에 대한 여러 주성분의 설명된 분산 비율(explained variance ratio)을 시각화합니다.
결과는 순진한 탐지기의 특징 공간이 모든 정보를 포착하는 데 단 두 개의 주성분만으로도 충분할 정도로 매우 제한적이고 낮은 랭크(low-ranked)일 수 있으며 이로 인해 일반화가 제한됨을 보여줍니다.
이는 낮은 랭크3의 특징 공간이 사소한 패턴을 암기함으로써 일반화를 방해한다는 이전의 이론적 분석과 일치합니다.

낮은 랭크 문제를 해결하기 위한 한 가지 잠재적인 해결책은 더 높은 랭크의 특징 표현을 제공하는 비전 파운데이션 모델(VFM) 내의 사전 훈련된 지식을 통합하여, 낮은 랭크의 특징 공간을 확장함으로써 과적합을 완화하는 것입니다.
그러나 (CLIP조차도) VFM을 순진하게 미세 조정하는 것은 원래의 풍부한 표현 특징 공간을 왜곡할 위험이 있으며(그림 2), 특징 공간이 다시 낮은 랭크가 되도록 만듭니다(그림 6에서 확인됨).

이를 해결하기 위해 Effort: 일반화 가능한 AIGI 탐지를 위한 효율적인 직교 모델링이라는 새로운 접근 방식을 설계합니다.
구체적으로, 두 개의 직교 부분 공간(orthogonal subspaces)을 구성하기 위해 특이값 분해(SVD)를 사용합니다.
주성분을 고정(freezing)하고 나머지 구성 요소를 적응(adapting)시킴으로써, 위조 관련 패턴을 학습하는 동시에 사전 훈련된 지식을 보존합니다.

우리는 딥페이크 탐지 및 합성 이미지 탐지 벤치마크 모두에서 광범위한 실험을 수행했으며, 우리의 접근 방식이 매우 적은 훈련 비용으로 다른 SOTA(state-of-the-art) 방법들보다 상당한 우월성을 달성함을 발견했습니다. 기존의 전체 파라미터 및 LoRA 기반 튜닝 방법과 비교할 때 명시적으로 직교성을 보장하여 전체 특징 공간의 더 높은 랭크를 가능하게 하고, 가짜 데이터에 대한 과적합을 효과적으로 최소화하며 일반화를 향상시킵니다.

마지막으로 일반화 가능한 AIGI 탐지를 위한 핵심 통찰에 도달했습니다: 탐지 작업에는 중요한 사전 지식이 존재하며, 가짜 이미지는 실제 이미지로부터 생성되어 독립적이거나 대칭적인 관계가 아닌 계층적 관계(hierarchical relationship)를 형성한다는 것입니다.
가짜 개와 실제 개를 구별하는 것과 같이 의미론적 정보를 정렬할 때, 이 사전 지식은 모델이 더 작고 의미론적으로 일관된 부분 공간(예: 개들 사이에서만) 내에서 식별에 집중할 수 있도록 합니다(그림 4 참조).
이러한 집중된 식별은 작업을 단순화하고, 모델 복잡성을 줄이는 것이 더 엄격한 일반화 한계로 이어진다는 Rademacher 복잡도의 이론적 결과와 일치합니다.
대조적으로, 실제 데이터와 가짜 데이터를 독립적인 것으로 취급하는 순진하게 훈련된 탐지기는 이러한 구조를 포착하지 못하여 제한된 일반화 성능을 초래합니다.
따라서 이러한 계층적 사전 지식을 모델링하는 것이 AIGI 탐지에 매우 중요하다고 생각합니다.

우리의 연구는 다음과 같은 주요 기여를 합니다:

AIGI 탐지의 비대칭 현상: 우리는 순진하게 훈련된 탐지기가 이미 본(seen) 가짜 방법에는 잘 맞는 경향이 있지만, 그 과정에서 종종 훈련 세트의 특정 가짜 패턴에 과적합되어 처음 보는(unseen) 가짜 방법을 탐지하는 일반화 능력이 제한되는 비대칭 현상의 개념을 도입합니다.

일반화 실패 원인을 설명하는 새로운 관점: 학습된 특징 공간 내의 유효 정보를 정량적으로 평가하기 위해 PCA를 사용하며 가짜 데이터에 대한 과적합이 매우 낮은 랭크의 제한된 특징 공간을 초래하여 결국 제한된 일반화 능력으로 이어진다는 것을 발견합니다.

직교 부분 공간 분해를 통한 새로운 방법: 과적합을 해결하기 위해, 우리는 두 가지 세심한 설계를 갖춘 새로운 접근 방식인 Effort를 제안합니다: 이전 특징 공간을 확장하고 모델의 표현력을 향상시키며 과적합을 완화하기 위해 비전 파운데이션 모델 내의 (더 높은 랭크의 특징 공간을 증명하는) 사전 훈련된 지식을 통합합니다. (2) SVD를 사용하여 명시적으로 두 개의 직교 부분 공간을 구성하며 하나는 사전 훈련된 지식을 보존하기 위한 주 공간이고 다른 하나는 새로운 위조를 학습하기 위한 나머지 공간으로 가짜 데이터를 학습하는 동안 원래의 풍부한 특징 공간이 왜곡되는 것을 방지합니다.

일반화 가능한 탐지를 향한 핵심 통찰: 가짜 데이터가 실제 데이터로부터 생성되어 독립적이기보다는 계층적 관계를 형성한다는 것을 밝힙니다. 사전 훈련된 의미론적 구성 요소를 유지하면서 가짜 탐지에 효과적으로 적응함으로써 이러한 사전 지식을 효과적으로 모델링하여 탐지기가 의미론적으로 정렬된 부분 공간에서 식별을 수행하고 모델 복잡성을 줄여 결과적으로 일반화를 향상시킬 수 있도록 합니다.