Paper Review: Visual Description Grounding Reduces Hallucinations and Boosts Reasoning in LVLMs

gitae lee·2026년 6월 6일

paper review

목록 보기

17/17

ICLR 2025.
Sreyan Ghosh, Chandra Kiran Reddy Evuru et al.,
University of Maryland College Park USA, Adobe USA

6 Mar 2025

💡 Key Point

Q: VLM의 hallucination(환각 현상), 어떻게 해결할 수 있을까?
→ '시각적 근거화(Visual Grounding)'를 통해 VLM이 이미지에 기반한 추론을 할 수 있게 만들자!

1. Motivation

기존 Hallucination 완화 연구의 한계

최근 Large-VLM(LVLM)은 영상 이해와 추론 능력에서 빠르게 발전 중이지만, 이에 따라 ‘모델이 사실과 다른 내용을 생성하는 hallucination(환각) 문제’를 완화하기 위한 연구들이 활발히 진행되고 있다.

지금껏 기존 연구들은 ‘object hallucination’ 문제를 중심으로, 모델이 이미지에 존재하지 않는 객체를 잘못 언급하는 현상을 줄이는 것에 집중해왔다.

대표적으로 장면 이해, OCR, 이미지 캡셔닝과 같은 task에서는 개선되었다!

그러나 이 접근은 단순한 객체 인식 문제에서는 효과적이지만, ‘추론력’이 필요한 인지적 프롬프트(cognitive prompt)에서는 거의 성능 향상을 보이지 못하고 있는 추세다.

즉, LVLM은 객체를 정확히 보는 것은 잘하지만 장면을 reasoning하는 부분에서는 약한 모습을 보인다.

LVLM은 ‘보는 것'과 '이해하는 것이 다르다

저자는 이러한 문제의 원인으로 LVLM이 이미지를 ‘보는 것’ ↔ 이미지를 문맥 속에서 ‘이해하는 것’에는 차이가 있다고 언급한다.

신기한 점은, LVLM은 실제로 객체 자체를 인식하는 능력도 가지고 있고, 언어 모델 내부에는 reasoning 및 world knowledge(방대한 지식) 역시 충분히 존재한다는 것이다. 그러나 cognitive prompt 상황에서는 모델이 이미지 정보를 충분히 활용하지 않고 language prior에 과도하게 의존하는 현상이 나타났다.

결국 모델은 이미지를 볼 수는 있지만 ‘질문과 연결하여 정확히 이해’하지 못하고 있다. 저자는 이러한 문제를 ‘Visual Perception Gap’이라고 정의하고 이것이 reasoning 기반 환각 현상의 원인이라고 말한다.

2. Analysis of Existing Methods

기존 환각 완화 기법, 어디까지 효과적인가?

논문에서는 현재 널리 사용되고 있는 환각 완화 기법들이 실제로 LVLM의 ‘인지’ 능력까지 향상시키는지 여러 벤치마크를 통해 비교 분석을 한다.

<개선이 이루어진 부분 👍>

분석 결과, 기존 기법들은 이미지 설명 기반인 Recognition 벤치마크에서는 일관된 성능 향상을 보였다. 즉, 이미지에 존재하지 않는 객체를 언급하는 object hallucination을 줄이는 데는 어느 정도 효과가 있었다.

<개선이 미미한 부분 😡>

그러나 추론(Reasoning) 또는 모델이 사전 학습 과정에서 습득한 방대한 세계 지식 활용(Knowledge Extraction)이 필요한 벤치마크에서는 성능 향상이 거의 나타나지 않았다.

또한 차트, 그래프, 수학 문제와 같이 실제 사진이 아닌(non-real world) 시각 자료에서는 모델들이 더욱 빈번하게 환각을 발생시켰으며, 기존 환각 완화 기법들 역시 이러한 문제를 효과적으로 해결하지 못했다.

⇒ 즉, 현재의 환각 완화 기법들은 “객체를 더 정확하게 보게 만드는 것”은 잘 하지만, “이미지를 이해하고 추론하는 것”까지 향상시키지는 못한다는 사실을 깨닫는다.

Hallucination의 유형

저자는 실제 모델의 응답을 분석해본 결과, 환각은 서로 다른 원인에 의해 발생하며 모든 환각이 동일한 특성을 갖는 것은 아니라는 것을 확인했다.

이에 따라 논문에서는 환각 현상을 다음과 같이 4가지 유형으로 구분한다:

Language Hallucination

모델이 이미지보다 언어적 사전 지식(=language prior)에 과도하게 의존하면서 발생하는 환각. 예를 들면 이미지에 없는 객체를 문맥상 자연스럽게 판단해 추가하거나, 이전에 생성한 문장을 이어가기 위해 사실이 아닌 내용을 덧붙이는 경우이다.
Vision Hallucination (기존 기법들이 주로 해결했던 것)

이미지 자체를 잘못 인식하거나 시각 정보를 잘못 해석하면서 발생하는 환각. 예를 들면 실제로는 보이지 않는 객체를 존재한다고 판단하거나, 객체 간 관계를 잘못 이해하는 경우가 이에 해당한다.
Style Hallucination

모델이 학습 과정에서 습득한 답변 스타일을 모방하려다 발생하는 환각. 오픈소스 LVLM들은 종종 GPT-4와 같은 강력한 모델이 생성한 데이터를 이용해 지시문 튜닝을 수행한다. 이 과정에서 모델은 풍부하고 자세한 설명을 생성하는 스타일을 학습하게 되는데, 이때 종종 실제 이미지에 존재하지 않는 정보까지 덧붙여 설명한다.
Instruction Tuning Hallucination

지시문 튜닝 데이터에 존재하는 편향을 학습하면서 발생하는 환각. 모델은 학습 데이터에서 자주 함께 등장하던 패턴을 기억하게 되는데, 실제 이미지에 그러한 정보가 없더라도 과거에 학습한 패턴을 바탕으로 내용을 생성할 수 있다.

⇒ 기존 기법은 1. 언어 환각, 2. 비전 환각을 줄이는 데는 어느 정도 효과를 보였지만 3. 스타일 환각, 4. 지시문 튜닝 환각에 대해서는 개선 효과가 미미하다.

3. The ‘Visual Perception Gap’

LVLM은 language prior에 의존한다

그렇다면 모델은 왜 ‘복잡한 인지적 프롬프트’에서 지속적으로 환각을 생성하는 걸까?

이를 알아내기 위해 저자는 모델 응답에 등장하는 각 토큰이 다음 중 어떤 것에 의해 생성되었는지를 분석했다:

                              실제 이미지 정보를 참고하여 생성
                                         VS
                           기존 언어 모델의 사전 지식에 의해 생성

실험 결과, 이미지 설명을 요구하는 벤치마크에서는 모델이 이미지를 적극적으로 활용하였지만 추론 중심의 벤치마크에서는 이미지를 참조하는 정도가 현저히 감소했다.

즉, 복잡한 추론이 필요한 상황이 되면 모델은 이미지 정보를 활용하기보다 language prior에 의존하는 경향을 보인다. 논문에서는 이러한 현상을 Visual Blind Spot이라고 정의한다.

흥미로운 실험 결과

그렇다면 문제는 모델의 시각 인식 능력 자체가 부족하기 때문일까?

이를 확인하기 위해 논문에서는 재밌는 실험을 하나 진행한다. 여러 벤치마크에서 이미지를 제거한 뒤, 질문을 텍스트 형태로 재구성하여 모델에게 제공하는 실험을 수행했다.

놀랍게도 모델은 이미지와 함께 입력받았을 때보다 텍스트만 제공받았을 때 더 높은 성능을 보이는 경우가 많았다. 또한 별도로 수행한 이미지 설명 실험에서는 모델이 이미지 속 객체와 장면을 비교적 정확하게 인식하는 능력을 보여주었다.

즉, LVLM은 이미지를 인식하는 능력(Recognition)도 갖추고 있고, 언어 모델 내부에는 필요한 지식과 추론 능력도 존재한다. 문제는 이 둘을 효과적으로 연결하지 못한다는 점이다.

저자들은 이러한 현상을 Visual Perception Gap이라고 정의한다. 모델은 객체를 식별할 수는 있지만, 그 시각 정보를 질문의 문맥과 연결하여 해석하고 내부 지식과 결합하는 능력이 부족하다는 것이다!

결국 환각은 ‘불확실한 토큰 선택’에서 발생한다

저자들은 추가적으로 환각이 실제 생성 과정에서 어떻게 발생하는지 분석하기 위해 로짓(Logit) 공간의 분석한다.

분석 결과, 환각을 유발하는 토큰들은 일반적으로 매우 높은 확률을 갖는 토큰이 아니었고, 여러 개의 후보 토큰들이 모두 비슷하게 낮은 확률을 가지며 경쟁하는 상황이 자주 보였다.

즉, 모델은 다음 토큰을 생성할 때 확신을 갖고 하나의 답을 선택하는 것이 아니라, 여러 개의 불확실한 후보들 사이에서 선택을 수행하고 있었다. 이러한 상황에서는 작은 확률 차이만으로도 잘못된 토큰이 선택될 수 있으며, 그 결과 환각이 발생하게 된다.

⇒ 즉 1) Visual Perception Gap은 환각의 근본 원인이고 2) 로짓 공간의 불확실성은 이러한 문제가 실제 응답 생성 과정에서 나타나는 메커니즘이라고 볼 수 있다.

4. Method

논문에서 제안하는 방법론(VDGD: Visual Description Grounding Decoding)은 생각보다 간단하다. 간략히 요약하자면,

먼저 LVLM이 이미지에 대한 상세한 설명을 생성한다.
이후 답변 텍스트를 만들 때, 후보 토큰들이 앞에 생성된 설명과 얼마나 일치하는지를 기반으로 단어를 선택하고,
상세한 설명 ↔ 후보 토큰 간의 KL-divergence를 계산해 값이 가장 낮은 토큰이 선택되도록 한다.

이렇게 3단계로 볼 수 있다. 이제 구체적으로 한 단계씩 파헤쳐보자.

1) 입력 이미지에 대한 상세한 설명 생성

모델(LVLM)에 사용자 프롬프트가 입력되면, VDGD는 가장 먼저 이미지에 대한 상세한 시각적 설명(description)을 생성한다. 그런 다음 생성된 설명을 사용자의 원래 프롬프트 맨 앞에 접두사(prefix)로 이어 붙인다.

p_{VLM}(X_{\mathrm{resp}} \mid X_{\mathrm{pre}}) = \prod_{i=n+1}^{n+m} p_{VLM}(x_i \mid x_{<i})

$p_{VLM}$ : VLM이 특정 단어를 생성할 확률 분포
$X_{pre}$ : 미리 생성된 ‘시각적 설명’이 포함된 입력 프롬프트(전체 토큰 시퀀스)
$X_{resp}$ : 모델이 최종적으로 생성할 응답(전체 토큰 시퀀스)
$p_{VLM}(x_i|x_{<i})$ : 이전까지 등장한 단어들( $x_{<i}$ )가 주어졌을 때, 그 다음 단어( $x_i$ )가 나올 확률

⇒ 이전에 생성된 단어들의 문맥을 바탕으로 다음 단어의 확률을 예측하고 이를 계속 곱해나가면서 전체 응답 문장( $X_{res}$ )를 완성한다는 의미로 이해하면 될 것이다.

2) 낮은 확률의 토큰 후보 거르기

앞서 분석한 ‘로직 공간의 불확실성’에 따라 VDGD는 모든 단어에 대해 편차를 계산하는 대신, 먼저 ‘가능성 제약’을 적용해 확률이 너무 낮은 단어들을 가지치기한다.

여기선 기본적으로 엘보우 기법(elbow method)을 적용해 상위 K개의 그럴듯한 토큰들만 남기며, 다음과 같이 계산된다.

p_{\mathrm{VLM}}(x_i \mid x_{<i}) = \begin{cases} p_{\mathrm{VLM}}(x_i \mid x_{<i}), & \text{if } p_{\mathrm{VLM}}(x_i \mid x_{<i}) \ge \alpha \max_{w} p_{\mathrm{VLM}}(w \mid x_{<i}) \\ -\infty, & \text{otherwise} \end{cases}

$p'_{VLM}$ : 가지치기한 후인 새로운 확률 분포
$\alpha$ : 잘라낼 커트라인을 결정하는 비율(0~1 사이의 하이퍼파라미터)
$max_{w}p_{VLM}(w|x_{<i})$ : 다음 단어로 올 수 있는 모든 가능한 후보 단어( $w$ )들 중 가장 높은 확률값(1등 단어의 확률)
$w$ : 어휘 사전 내에 있는 모든 개별 단어
$-\infin$ : 이 값을 받은 단어는 다음 토큰 샘플링 과정에서 절대 선택되지 않도록 확률이 0%로 배제됨

⇒ 수많은 후보 단어 중 정답일 가능성이 가장 높은 단어의 확률에 특정 비율(α)을 곱해 커트라인을 만들고, 이 기준에 미치지 못하는 불확실한 단어들은 후보군에서 아예 배제(−∞)시키는 필터링 과정으로 이해하면 된다.

3) 생성된 설명과의 편차 계산

이렇게 걸러지고 남은 상위 K개의 유력한 단어 후보들의 집합을 $V^K_{x_i}$ 라고 하자. 이제 이 상위 K개의 각 후보 단어( $w_k$ )가 입력 프롬프트(처음에 생성해 둔 설명 포함)의 $n$ 개 토큰들과 얼마나 떨어져있는지 계산한다.

\text{KL}_{w_k}^{x_i} = \min_{1 \le j \le n} \text{KL} \left( \text{one-hot}(w_k) \parallel p_{\text{VLM}} (\,\cdot \mid x_{<j}) \right)

$\text{KL}_{w_k}^{x_i}$ : 현재 위치( $x_i$ )의 유력한 후보 단어( $w_k$ )가 프롬프트의 시각적 설명과 어긋나는 정도를 나타내는 최종 편차 점수
$\min_{1 \le j \le n}$ : 프롬프트 내의 각 위치 인덱스에 대해 계산된 값들 중 가장 작은 최솟값을 찾는 함수
$KL$ : KD-divergence. 두 확률 분포 간의 차이나 거리를 측정하는 함수
$\text{one-hot}(w_k)$ : 후보 단어 $w_k$ 의 원-핫 인코딩 표현
$p_{\text{VLM}} (\,\cdot \mid x_{<j})$ : 입력 프롬프트의 $j$ 번째 단어 이전까지의 문맥( $x_{<j}$ )이 주어졌을 때 모델이 예측하는 확률 분포

⇒ 앞선 과정에서 살아남은 후보 단어들이, 모델이 사전에 덧붙여 둔 '시각적 설명'의 문맥과 얼마나 잘 맞는지를 KL-divergence를 통해 측정하는 과정이다. 이 값이 작을수록 해당 단어가 시각적 설명(사진 내용)과 잘 부합하는 정확한 단어임을 뜻한다.

5. Experiment Analysis

1) 다양한 LVLM과 벤치마크에서 성능 측정

다양한 LVLM으로 실험 진행
- LLaVA-v1, LLaVA-v1.5, LLaVA-v1.6, mPLUG-Owl2, InternLM-X, CogVLM, Qwen2-VL
추론 및 정보 추출 중심 벤치마크에서 평가 진행
- MMMU, MathVista, MMBench, MMVet, MME, LLaVA-Bench, Oven, VaLLu
VDGD는 모든 벤치마크에서 기존 방법들을 대부분 능가했으며, 특히 Reasoning Benchmark에서 2%~33% 수준의 성능 향상을 기록했다.

2) Qualitative Results

기존 Greedy Decoding(일반적인 디코딩 방식, 가장 확률이 높은 토큰 하나를 무조건 선택하는 방식)은 이미지와 직접적으로 관련 없는 정보나 언어적 사전지식(Language Prior)에 의존하여 잘못된 추론을 수행하는 경우가 빈번하게 발생했다.
반면 VDGD는 이미지 설명(description)을 지속적으로 참조하며 응답을 생성하며 사실적이고 일관된 답변을 생성하는 모습을 볼 수 있다.
실제 사례를 보면 기존 방식은 계산 과정이나 배경 지식을 잘못 활용하는 반면, VDGD는 이미지에 존재하는 시각 정보를 기반으로 추론을 수행하는 모습을 확인할 수 있다.

3) Ablation Study

KL-divergence 기반 재가중치 과정을 제거할 경우 성능이 감소하며, 단순히 Description만 추가하는 것만으로는 충분하지 않다.
이미지 없이 Description만 사용하는 경우에도 성능 하락이 발생하여, VDGD가 Description에만 의존하는 것이 아니라 원본 이미지와 함께 활용될 때 가장 효과적임을 입증했다.
더 강력한 Captioning Model로 Description을 생성할수록 추가적인 성능 향상이 발생하여 Description 품질이 VDGD 성능에 중요한 영향을 미친다.
- 반면 상대적으로 작은 Captioning Model을 사용하더라도 경쟁력 있는 성능을 유지하여 계산 비용 대비 효율성을 확보할 수 있다.

6. Significance of Paper

이 논문은 단순히 새로운 hallucination 완화 기법을 제안하는 것 뿐만 아니라, 기존 LVLM 연구들이 간과하고 있던 환각의 근본적인 원인을 깊이 파고들었다는 점에서 의미가 있었다.

기존 연구들은 주로 이미지에 존재하지 않는 객체를 생성하는 Object Hallucination 문제를 줄이는 데 집중했다. 하지만 저자들은 다양한 분석을 통해 이 접근은 단순한 Recognition 능력 향상에는 효과적일 수 있지만, Reasoning이나 Knowledge Extraction과 같은 고차원적 인지 능력 향상으로는 이어지지 않는다는 사실을 보여줬다.

또한 기존 Hallucination 연구가 주로 모델 구조 변경이나 추가 학습에 의존했던 것과 달리, VDGD는 별도의 재학습 없이 적용 가능한 training-free 방식으로 만들어졌다.

이를 통해 복잡한 추론 벤치마크에서도 일관된 성능 향상을 달성하며, 시각 정보와 추론 과정을 효과적으로 연결하는 것이 환각 현상 완화에 상당히 중요하다는 것을 깨달았다.

gitae lee

grit

이전 포스트