MultiPriv: Benchmarking Individual-Level Privacy Reasoning in Vision-Language Models

ICML 2026 [Paper]
Xiongtao Sun ⋅ HUI LI ⋅ Jiaming Zhang ⋅ Yujie Yang ⋅ Kaili Liu ⋅ Ruxin Feng ⋅ Wen Tan ⋅ Wei Yang Bryan Lim
Xidian University | Nanyang Technological University
21 Nov 2025

1. Introduction

기존 VLM 프라이버시 연구는 이미지에서 이름, 얼굴, 주소, 카드 번호와 같은 민감 정보를 인식하거나 추출하는 능력을 주로 평가하는 데 그쳤다. 그러나 실제 프라이버시 침해는 개별 정보를 읽는 데서 끝나지 않는다.
여러 이미지와 문서에 흩어진 단서를 연결하면, 특정 개인의 신원, 위치, 건강 상태, 소유 자산 등을 하나의 프로필로 재구성할 수 있다.

예를 들어 모델이 항공권에서 승객 이름을 찾고, 신분증에서 해당 인물의 주소를 확인한 뒤, 차량등록증에서 같은 이름과 주소를 찾아 차량 번호까지 추론할 수 있다. 저자들은 이러한 identity linkage가 단순 개인정보 추출보다 심각한 개인 단위 프라이버시 위협이라고 본다.

[Figure 1: 개별 개인정보 인식에서 개인 프로필 재구성으로 확장되는 PPR 과정]

이를 위해 논문은 VLM의 프라이버시 위험을 두 단계로 구분한다.

• Privacy Perception: 이미지에서 개별 개인정보를 인식·추출
• Privacy Reasoning: 여러 개인정보를 연결해 특정 개인을 식별하거나 추가 정보를 추론

기존 벤치마크는 대부분 독립적인 이미지로 구성되어 있어, 서로 다른 입력 사이의 관계를 추론하는 능력을 평가하기 어렵다. 이에 저자들은 두 단계를 함께 평가하는 Privacy Perception and Reasoning(PPR) 프레임워크와 MultiPriv 벤치마크를 제안한다.

MultiPriv의 주요 기여는 다음과 같다.

1. VLM 프라이버시 위험을 속성 인식에서 개인 단위 정보 연결로 확장한다.
2. 36개 개인정보 속성과 40명의 합성 개인 프로필을 포함하는 영어·중국어 데이터셋을 구축한다.
3. 개인정보 인식부터 재식별, 다단계 추론까지 총 9개 태스크를 제안한다.
4. 50개 이상의 상용·오픈소스 VLM을 평가하여 추론 능력과 안전 정렬의 관계를 분석한다.

---

2. Method

2.1 Threat Model

MultiPriv가 가정하는 핵심 위협은 여러 이미지와 문서에 흩어진 정보를 동일한 개인과 연결하는 identity linkage이다.

입력은 이미지 또는 이미지와 텍스트가 결합된 멀티모달 데이터이며, 텍스트만을 이용한 정보 유출이나 외부 데이터베이스 검색은 평가 범위에서 제외한다. 모델이 정보를 잘못 추론하거나 응답을 거부한 경우에는 개인정보 추론에 실패한 것으로 처리한다.

2.2 PPR Formalization

PPR은 프라이버시 위험을 두 단계로 구분한다.

1. 이미지에서 개인정보를 찾는 단계 (Privacy Perception)
2. 찾은 개인정보를 특정 개인과 연결하는 단계 (Privacy Reasoning)

비정형 멀티모달 입력 공간을 $\mathcal{X}$, 개인정보 속성 집합을 $\mathcal{A}$, 식별 가능한 개인 집합을 $\mathcal{I}$라고 정의한다.

Privacy Perception

Privacy Perception 함수 $\Phi$는 이미지나 문서에서 개인정보 속성을 추출한다.

예를 들어 신분증 이미지 $x$를 입력했을 때 다음 정보가 추출될 수 있다.

추출된 속성에 이름, 주소, 전화번호 등 민감 정보가 포함되면 attribute-level threat가 발생한다.

즉, 이 단계에서는 모델이 개인정보를 읽을 수 있는지를 평가한다.

Privacy Reasoning

Privacy Reasoning 함수 $\Psi$는 여러 입력에서 추출한 속성과 문맥적 지식 $\mathcal{K}$를 이용해 해당 정보가 누구의 것인지 판단한다.

예를 들어 항공권에서 Alice라는 이름을 찾고, 차량등록증에서 같은 이름과 주소를 확인하면 모델은 해당 차량이 Alice의 소유라고 연결할 수 있다.

이처럼 추출한 정보를 목표 개인 $i^*$와 정확히 연결하면 individual-level threat가 발생한다.

저자들은 개인정보를 단순히 발견한 경우보다, 그 정보를 특정 개인과 연결한 경우의 위험이 훨씬 크다고 정의한다.

여기서 $\epsilon$은 개인을 식별하지 못한 상태의 위험, $\lambda$는 개인정보를 특정 개인과 연결한 상태의 위험을 의미한다.

결국 PPR의 핵심은 모델이 개인정보를 읽을 수 있는지만 보는 것이 아니라, 여러 단서를 결합해 그 정보가 누구의 것인지 알아낼 수 있는지 평가하는 것이다.

2.3 Dataset Construction

MultiPriv는 GDPR과 CCPA의 개인정보 정의를 참고하여 36개 세부 속성을 7개 범주로 구성한다.

• Biometric
• Identity Document
• Medical Health
• Financial Account
• Location Trajectory
• Property Identity
• Social Attributes

Privacy Perception 평가에는 공개 데이터와 합성 데이터를 포함한 1,119개 이미지를 사용한다. Privacy Reasoning 평가를 위해서는 40명의 가상 인물을 생성하고, 인물마다 얼굴·지문·신분증·주소·항공권·차량 정보 등이 연결된 10개 이미지와 JSON 형식의 프로필을 만든다. 전체 데이터에는 7,414개의 VQA 질의가 포함된다.

[Figure 2: 7개 개인정보 범주와 36개 세부 속성]

2.4 Task Framework

MultiPriv는 PPR을 총 9개 태스크로 평가한다.

Privacy Perception

1. Direct Identifier Recognition
   얼굴, 이름, 신분증 번호처럼 직접 개인을 식별하는 정보 탐지

2. Indirect Identifier Recognition
   주소, 건강 상태, 이동 경로처럼 다른 정보와 결합할 때 개인을 식별할 수 있는 속성 탐지

3. Privacy Information Extraction
   문서나 이미지에서 실제 개인정보 값을 추출

4. Privacy Region Localization
   얼굴, 번호판, 카드 번호 등의 위치를 bounding box로 예측

Privacy Reasoning

1. Single-step Cross-validation
   서로 다른 이미지가 동일한 개인과 관련되는지 검증

2. Single-step Reasoning
   하나의 속성으로부터 다른 개인정보를 직접 추론

3. Chained Reasoning
   여러 단계를 거쳐 분산된 단서를 연결

4. Re-identification and Linkability
   여러 샘플에서 동일한 개인을 다시 식별

5. Cross-modal Association
   이미지 정보와 텍스트·JSON 등의 정보를 연결해 개인정보 추론

[Table 1: MultiPriv의 9개 태스크와 요구되는 VLM 능력]

평가에는 인식 F1, 정보 추출 정확도, bounding-box IoU, 태스크 정확도 등을 사용한다. 모든 점수는 높을수록 모델이 더 강한 개인정보 인식·추론 능력을 가지며, 오용되었을 때의 위험도 크다는 의미이다.

---

3. Experiments

3.1 Experimental Setup

저자들은 GPT-5, GPT-4o, Gemini 2.5, Claude Sonnet 4 등의 상용 모델과 Qwen3-VL, InternVL, Llama 4, GLM, DeepSeek-VL 등의 오픈소스 모델을 포함해 50개 이상의 VLM을 평가한다.

기본 실험에서는 명시적인 Chain-of-Thought 지시를 제공하지 않고 temperature를 $0$으로 설정한다. 또한 거부 응답은 실제 개인정보 노출을 방지한 것으로 보고 정확도 계산에서 실패로 처리하며, 거부율은 별도로 분석한다.

[Table 2: 모델별 Privacy Perception 및 Privacy Reasoning 성능]

3.2 Main Results

1. 개인정보 위험은 Perception보다 Reasoning의 영향을 크게 받는다

Privacy Reasoning에서 Qwen3-VL-32B-Thinking은 $0.874$, Gemini 2.5 Flash는 $0.825$의 overall risk score를 기록했다. 특히 Qwen3-VL-32B-Thinking은 영어 chained reasoning에서 $0.878$, cross-modal association에서 $0.963$을 기록했다.

일부 모델은 개인정보를 단순 인식하는 능력은 보통이지만, 여러 입력의 단서를 연결하는 태스크에서는 높은 성능을 보였다. 이는 실제 개인 단위 위험을 평가하려면 OCR이나 민감 정보 탐지만으로는 부족하다는 것을 보여준다.

2. 모델 크기와 프라이버시 위험은 비례하지 않는다

Qwen3-VL-4B-Thinking의 점수는 $0.871$로 32B 모델의 $0.874$와 거의 동일했다. InternVL3.5-8B 역시 $0.858$로 38B 모델의 $0.857$보다 약간 높았다.

따라서 파라미터 수보다는 추론 구조, 학습 데이터, instruction tuning 방식이 개인정보 연결 능력에 더 직접적인 영향을 미친다.

3. 언어와 태스크에 따라 위험 수준이 크게 달라진다

Qwen3-VL-32B-Thinking은 영어 chained reasoning에서 $0.878$을 기록했지만 중국어에서는 $0.731$에 그쳤다. GPT-5도 중국어 Re-identification과 Chained Reasoning 사이에서 큰 차이를 보였다.

특정 언어나 하나의 태스크만 평가하면 다른 조건에서 나타나는 높은 개인정보 추론 능력을 놓칠 수 있다. MultiPriv가 영어·중국어와 여러 추론 태스크를 함께 사용하는 이유이다.

4. 강한 추론은 개인정보 위험과 거부 행동을 모두 증가시킬 수 있다

Qwen3-VL에서는 Thinking 모델이 Instruct 모델보다 전반적으로 높은 위험 점수를 기록했다. 예를 들어 4B 모델은 $0.830$에서 $0.871$로 증가했다.

반면 GPT-5는 reasoning effort가 증가할수록 점수가 감소했다.

이는 추론 능력이 약해졌기 때문이 아니라, GPT-5-high의 평균 거부율이 약 $68$까지 증가했기 때문이다. 즉, 강한 추론은 개인정보 연결 능력을 높일 수도 있지만, 요청의 위험성을 더 잘 판단하여 거부를 유도할 수도 있다.

[Table 3: Reasoning effort에 따른 성능 및 거부율 변화]

5. Reasoning prompt는 개인정보 연결 능력을 강화한다

일반 프롬프트에 “step by step” 또는 구조화된 CoT 지시를 추가하자 개인정보 추론 점수가 상승했다.

GPT-5는 전체 정확도가 $0.52 \rightarrow 0.57$, 응답한 사례만 계산한 정확도는 $0.87 \rightarrow 0.95$로 증가했다. Llama 4는 $0.85 \rightarrow 0.91$, Qwen3-VL은 $0.86 \rightarrow 0.93$으로 상승했다.

따라서 별도의 reasoning 모델이 아니더라도, 프롬프트가 여러 입력 사이의 연결을 명시적으로 요구하면 개인정보 유출 가능성이 커질 수 있다.

3.3 Capability와 Refusal의 분리

낮은 전체 정확도가 반드시 약한 개인정보 추론 능력을 의미하지는 않는다. 모델이 정답을 추론할 수 있어도 안전 정책에 따라 응답을 거부할 수 있기 때문이다.

GPT-5의 전체 정확도는 $0.46$이지만, 거부하지 않은 응답만 평가하면 $0.91$이었다. 반면 Qwen3-VL은 전체 정확도 $0.87$, answered-only accuracy $0.88$, 거부율 $0.01$로 추론 능력이 거의 그대로 출력에 노출되었다.

따라서 실제 프라이버시 위험은 다음 두 요소를 함께 봐야 한다.

MultiPriv의 핵심 결과는 VLM의 프라이버시 위험이 단순 개인정보 인식 능력이 아니라, 분산된 정보를 특정 개인에게 연결하는 추론 능력과 이를 억제하는 안전 정렬의 상호작용에서 발생한다는 것이다.