Uncertainty Quantification in Retrieval Augmented Question Answering: 논문 리뷰

Remain AI·2025년 9월 22일

Paper Review

목록 보기

11/13

핵심 Method 요약

Input/Output

Input: Question + Retrieved passages
Output: Passage utility scores → Answer uncertainty estimation
Transformation: Individual passage utility prediction → Maximum utility aggregation → Uncertainty score

알고리즘 구조

Passage Utility Predictor: BERT-based encoder + MLP layers
Training Objective: Pairwise ranking loss + Binary cross-entropy loss
Uncertainty Aggregation: Maximum utility score among retrieved passages

핵심 수식

Passage Utility: $\upsilon_{M} = \frac{a(y) + e(y)}{2}$
Ranking Loss: $L_{\text{rank}} = \sum \max\left(0,\; -z(\upsilon_i - \upsilon_j) + m\right)$
Combined Loss: $L = L_{\text{rank}} + \lambda L_{\text{BCE}}$

1. 연구 배경 및 동기

RAG의 불확실성 문제

Retrieval Augmented Generation(RAG) 시스템에서 QA 모델의 불확실성을 정량화하는 것은 중요한 문제다. 기존 연구들은 주로 closed-book QA에서의 불확실성에 집중했지만, retrieval된 passage들이 포함된 상황에서의 불확실성은 충분히 탐구되지 않았다.

기존 방법들의 한계

Sampling-based Methods의 문제점들:

높은 computational cost (여러 번의 inference 필요)
RAG 환경에서 output variation이 줄어드는 경향
Production 환경에서의 latency 및 cost 문제

Information-theoretic Methods의 한계:

Retrieved passages의 품질을 직접적으로 고려하지 못함
Misleading evidence에 대한 명시적 대응 메커니즘 부족

2. Method

전체 아키텍처 개요

논문의 핵심 아이디어는 passage utility를 통해 QA 모델의 불확실성을 추정하는 것이다. 즉, 각 passage가 target QA 모델에게 얼마나 유용한지를 예측하고, 이를 바탕으로 전체 답변의 불확실성을 계산한다.

Passage Utility Prediction

Utility 정의: $\upsilon_{M} = \frac{a(y) + e(y)}{2}$

여기서:

$a(y)$ : 생성된 답변의 정확성 (0 또는 1)
$e(y)$ : 생성된 답변이 passage에 의해 entail되는 정도 (0-1 범위)

이 정의는 단순히 passage 자체의 품질이 아니라, target QA 모델이 해당 passage로 올바른 답변을 생성할 수 있는지에 초점을 맞춘다.

Training Objective:

L = L_{\text{rank}} + \lambda L_{\text{BCE}}

Pairwise ranking loss로 passage들 간의 상대적 유용성을 학습
Binary cross-entropy loss로 절대적 정확성 예측을 정규화
Contrastive learning 방식으로 더 유용한 passage가 높은 점수를 받도록 학습

Answer Uncertainty Estimation

Aggregation Strategy

u_{M}(\{x, R\}) = \max_{p \in R} \left( \upsilon_{M}(\{x, p\}) \right)

검색된 passage들 중 최대 utility 점수를 해당 질문에 대한 QA 모델의 확신도로 사용한다. 이는 하나의 좋은 passage만 있어도 모델이 올바른 답변을 생성할 수 있다는 직관에 기반한다.

3. 실험 설계 및 결과 분석

데이터셋 및 설정

QA 태스크: Natural Questions, TriviaQA, WebQuestions, SQuAD, PopQA, RefuNQ
QA 모델: Llama3.1-8B, Mistral-7B, Gemma2-9B/27B
검색: Contriever-MSMARCO로 top-5 passages 검색
평가: AUROC (incorrect answer detection)

주요 실험 결과

전체 성능 비교 (AUROC 기준)

모델	PPL	p(true)	Semantic Entropy	Passage Utility
Gemma2-9B	0.58	0.70	0.66	0.79 (+13%)
Gemma2-27B	0.56	0.72	0.63	0.78 (+8%)
Llama-3.1-8B	0.73	0.78	0.73	0.80 (+3%)
Mistral-7B	0.64	0.73	0.70	0.79 (+8%)

Computational Efficiency:

Passage Utility: 5회 BERT inference (110M parameters)
p(true): 11회 LLM inference + 긴 프롬프트 (9B-27B parameters)
Semantic Entropy: 11회 LLM inference + 45회 entailment 모델 호출

Selective Answering 성능:
80% confident cases만 답변했을 때의 정확도 향상:

Gemma2-27B: +9 point 향상 (0.65→0.74)
Gemma2-9B: +8 point 향상 (0.57→0.65)

Retrieval Quality Impact:

High-quality (TQA: 73% answer coverage): p(true)와 경쟁적
Medium-quality (PopQA: 63% coverage): 소폭 우위
Low-quality (RefuNQ: deliberately low): 큰 성능 차이

Out-of-Distribution 성능:
SQuAD로 훈련 후 다른 데이터셋 테스트:

NQ: 0.76→0.65 (11 point 하락)
TQA: 0.85→0.79 (6 point 하락)
PopQA: 0.86→0.72 (14 point 하락)

4. 한계점

Architecture 측면의 한계

Temporal Information Loss:

Maximum aggregation strategy가 multi-hop reasoning을 제대로 처리하지 못함
여러 passage가 필요한 복잡한 질문에서 성능 저하
HotPotQA에서의 실험이 이를 확인 (13/500 cases에서 실패)

Individual Passage Focus:

Passage들 간의 interaction을 고려하지 않음
실제로는 passage들이 조합되어야 답변 가능한 경우들을 놓칠 수 있음

실험 설계의 제약

Training Data Dependency:

각 QA 모델과 태스크마다 별도의 utility predictor 필요
Out-of-distribution 환경에서 성능 저하 (Table 8 참조)
새로운 도메인이나 모델에 대한 adaptation 비용

Evaluation Limitations:

LLM-based accuracy evaluation에 의존 (potential bias)
Short-form QA에만 집중, long-form generation은 미탐구
실제 production 환경에서의 효과성 검증 부족

5. 개선 방향 및 Future Work

Multi-hop Reasoning 강화

Passage Interaction Modeling: 단순 maximum 대신 attention-based aggregation
Hierarchical Utility Estimation: 개별 passage utility → passage combination utility
Graph-based Reasoning: passage들 간의 관계를 그래프로 모델링

Generalization 개선

Meta-learning Approach: 다양한 QA 태스크에서 일반화 가능한 predictor
Domain Adaptation Techniques: 적은 데이터로도 새 도메인에 적응
Model-agnostic Design: 다양한 QA 모델에 적용 가능한 구조

Production 환경 고려사항

Real-time Inference Optimization: 더 빠른 utility prediction
Uncertainty Calibration: 실제 error rate와 predicted uncertainty 간의 정렬
Human-in-the-loop Integration: 불확실한 경우 human intervention 시스템

6. 가능한 질문들

"정말 sampling-based 방법들을 완전히 대체할 수 있는가?"
→ Computational efficiency 측면에서는 명확한 장점이 있지만, 복잡한 reasoning이 필요한 태스크에서는 여전히 한계가 있다. 특히 multi-hop QA에서의 성능 저하는 아직 해결되지 않은 문제다.

"Out-of-distribution 성능이 practical 사용에 충분한가?"
→ Table 8의 결과를 보면 OOD 환경에서 성능 저하가 상당하다. 실제 production 환경에서는 지속적인 model update와 retraining이 필요할 것으로 보인다.

"Maximum aggregation이 정말 최선인가?"
→ 저자들도 인정하듯이 이는 단순한 접근법이다. Multi-hop reasoning이나 복잡한 passage interaction을 요구하는 경우에는 더 sophisticated한 aggregation 방법이 필요하다.

"실제 사용자 경험에 미치는 영향은?"
→ 논문에서는 AUROC 같은 technical metric에만 집중했지만, 실제 QA 시스템에서 사용자가 느끼는 reliability나 trustworthiness에 대한 분석은 부족하다.

7. 결론

이 논문은 RAG 환경에서의 uncertainty quantification이라는 중요한 문제에 대해 practical하고 효율적인 해결책을 제시했다. Passage utility라는 개념을 통해 기존 방법들의 computational burden을 크게 줄이면서도 competitive한 성능을 달성한 것은 의미있는 기여다.

하지만 multi-hop reasoning 처리 한계와 out-of-distribution generalization 문제는 실제 deployment를 위해 반드시 해결해야 할 과제들이다. 특히 production 환경에서는 다양한 도메인과 복잡한 질문들이 등장하므로, 이러한 한계점들이 더욱 중요해질 수 있다.

향후 연구에서는 passage interaction modeling과 domain adaptation 능력 향상에 집중해야 할 것으로 보이며, 실제 사용자 연구를 통한 practical effectiveness 검증도 필요하다.

Remain AI

나머지 수업

이전 포스트

[2025] CLAMR Paper Review

다음 포스트