[논문 리뷰] Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks

📌 Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks
📝 저자 : Patrick Lewis, Ethan Perez, Aleksandra Piktus, Fabio Petroni, Vladimir Karpukhin, Naman Goyal, Heinrich Küttler, Mike Lewis, Wen-tau Yih, Tim Rocktäschel, Sebastian Riedel, Douwe Kiela
📅 발행 연도 : Submitted on 22 May 2020 (v1), last revised 12 Apr 2021 (this version, v4)
🔗 논문 링크 : https://arxiv.org/abs/2005.11401

---

Abstract

이 논문에서는 사전 학습된 sequence-to-sequence 언어 모델(BART)에 외부 지식 소스를 결합하여 지식 집약형 태스크(Knowledge-Intensive Tasks)를 효과적으로 해결할 수 있는 Retrieval-Augmented Generation (RAG) 구조를 제안한다.

기존의 GPT, BERT 기반 생성기는 모든 지식을 모델 파라미터 내부에만 저장하고 있었기 때문에,

• 업데이트 불가능한 지식
• 사실 오류(hallucination)
• 출처 불명 생성물

등의 문제를 안고 있었다.

RAG는 이러한 한계를 해결하기 위해,

• Dense retriever (DPR)로 관련 지식을 검색하고,
• BART 기반 생성기를 통해 해당 지식을 조건으로
• fact-aware한 텍스트 생성을 수행한다.

❗ 외부 문서를 검색해서 그 내용을 조건으로 생성하는 LLM 구조 = "검색과 생성의 하이브리드" 모델

---

1. Introduction

기존 LLM의 한계

Transformer 기반 LLM들은 대규모 텍스트 코퍼스로 사전 학습되어 상당한 지식을 파라미터에 내재화할 수 있지만, 다음과 같은 문제점을 가지고 있다.

• 지식 업데이트 불가 : 새로운 정보가 생겨도 기존 모델은 재학습 없이는 반영 불가
• fact-check 미지원 : 모델이 어떤 근거로 텍스트를 생성했는지 추적 어려움
• hallucination 문제 : 사실과 무관한 내용을 “그럴듯하게” 생성하는 현상
  
  

특히 지식 집약형 작업(Knowledge-Intensive Tasks)

• 오픈 도메인 질의응답 (Open-domain QA)
• 장문 응답 생성 (ELI5)
• fact verification (FEVER)

등에서는 이 한계가 치명적이다.

RAG의 핵심 아이디어

RAG는 이런 문제를 해결하기 위해 retrieval(검색)과 generation(생성)을 결합한 모델이다.

• Query가 주어지면, 먼저 Dense Retriever(DPR)를 사용해 외부 인덱스(Wikipedia 등)에서 관련 문서를 k개 검색

  Dense Retriever(DPR) : 고정된 문서 집합에서 쿼리와 관련된 문서를 벡터 기반으로 효율적으로 검색하는 방법
  
  → 기존의 sparse retrieval 방식(BM25 등)과 달리, 딥러닝 기반 임베딩을 사용하여 의미적으로 유사한 문서를 찾는 것이 핵심

• 검색된 문서를 조건으로 BART decoder가 자연어 응답을 생성

• Knowledge Injection without Retraining
  : 지식을 외부에서 실시간으로 주입받으므로, 지식이 변경되더라도 모델 재학습이 필요 없다!

---

2. Methods

2.1 Models

RAG는 두 가지 버전으로 나뉜다.

• RAG-Sequence : 하나의 문서 전체를 조건으로 생성
  

• RAG-Token : 토큰마다 다른 문서를 선택해 생성
  
  

2.2 Dense Retriever (DPR)

RAG는 Dense Passage Retriever (DPR)를 활용하여, 고정된 문서 집합에서 query에 가장 유사한 문서들을 벡터 공간 상에서 검색한다.

• 두 개의 독립적인 BERT encoder를 사용

  • Query encoder : 질문을 임베딩
  • Context encoder : 문서들을 임베딩

• 내적 유사도(dot product)를 계산해 top-k 문서를 선택함
  

이 구조는 Sparse BM25보다 빠르며, 파인튜닝이 가능해 downstream task에 최적화된다.

2.3 Generator (BART 기반)

• 생성기는 사전 학습된 BART 모델을 사용하며, sequence-to-sequence 구조
  • Encoder : 선택된 문서 z를 입력
  • Decoder : query를 조건으로 응답을 생성

• Latent variable z : 선택된 문서

• 최종 출력 분포는 아래와 같은 마르코프 모델로 구성된다.

  • x : 사용자의 질문 (query)
  • y : 생성된 응답 (output)
  • z : 검색된 문서 (retrieved latent variable)

검색기(DPR)는 p(z|x)를 예측하고, 생성기(BART)는 p(y|x,z)를 예측하여 전체적으로 p(y|x)를 근사함

→ z는 latent 상태, y는 관측값처럼 해석할 수 있으므로 RAG는 마르코프 네트워크 구조를 가진 모델로 해석 가능

즉, 검색 확률과 생성 확률을 결합한 형태로 설계된다.

2.4 Training

• DPR과 BART를 함께 학습할 수 있도록 end-to-end fine-tuning이 가능

• 학습 시에는 p(z|x)를 approximation 하기 위해 top-k 문서만 선택하여 marginalization 수행

• Generator는 각 문서를 조건으로 응답을 생성하며, loss는 cross-entropy 기반으로 계산
  
  

2.5 Decoding

• 추론 시에는 beam search를 통해 top-k 문서에서 가능한 응답을 생성하고, 확률적으로 가장 그럴듯한 응답을 선택

RAG는 retriever와 generator의 결합이므로, 성능은 retriever의 품질에 민감
→ retriever 성능이 높을수록 hallucination이 줄어듬

---

3. Experiments

RAG 모델이 다양한 지식 집약형 NLP 태스크에서 어떻게 성능을 보이는지 평가한다. 모든 실험은 동일한 Wikipedia dump(2018년 12월 버전)을 non-parametric 지식 소스로 사용한다.

• 전체 Wikipedia 문서를 100단어 단위 청크로 분할 → 총 약 2100만 개 문서

• 각 문서 임베딩은 Dense Passage Encoder (DPR)로 생성하고, 빠른 유사 문서 검색을 위해 FAISS의 Hierarchical Navigable Small World (HNSW) 구조 기반 MIPS 인덱스를 구축

• 학습 시에는 쿼리당 상위 k개 문서 검색 (k=5 또는 10)

• 테스트 시에는 dev data 기반으로 k를 설정

데이터셋

• Open-domain QA
  • Natural Questions : Google 실제 사용자들의 검색 질문을 기반으로 한 대규모 QA 데이터셋
  • TriviaQA : 퀴즈 문제 형식의 질문으로 구성
  • WebQuestions : 웹 사용자가 입력한 질문에 대해 Freebase에서 정답을 연결한 QA 데이터셋
  • CuratedTREC : TREC QA 트랙에서 수작업으로 만든 질문/정답 쌍
• Generation
  • MS MARCO : Microsoft가 만든 웹 문서 기반 질문응답 데이터셋
  • ELI5(Explain Like I’m 5) : Reddit에서 수집된 “아주 쉬운 설명” 질문-응답 데이터
• Fact verification
  • FEVER(Fact Extraction and VERification) : 위키피디아 기반 fact-checking 데이터셋
    
    

---

4. Results

기존 BART 대비 2배 이상의 성능 향상

➡️ BART에 비해 factual consistency가 향상, hallucination 감소

• 사실성(factuality) : 생성 문장이 신뢰 가능한 외부 출처로 입증 가능한가?
• 구체성(specificity) : 입력과 출력 간의 강한 상호 의존성 존재 여부

• RAG-Token-BM25 : BM25로 검색된 여러 문서 중에서 토큰마다 다른 문서를 참조하며 생성하는 방식
• RAG-Sequence-BM25 : BM25로 검색된 문서 중 하나를 전체 응답 생성에 사용하는 방식
  
  
• RAG-Token-Frozen : Dense retriever는 고정시키고, 토큰마다 문서를 바꿔가며 생성하는 방식
• RAG-Sequence-Frozen : retriever는 고정, 하나의 문서를 기반으로 전체 응답 생성
  
  
• RAG-Token : retriever와 generator 모두 학습되며, 각 토큰마다 다른 문서를 사용할 수 있는 방식
• RAG-Sequence : retriever와 generator 모두 학습되며, 하나의 문서를 기반으로 전체 응답 생성

➡️ 특히 RAG-Token은 NQ, TQA, WQ, Jeopardy, MS MARCO 등 다양한 task에서 fine-grained control이 가능하다는 특성 덕분에 더 자연스럽고 정확한 응답 생성에 유리한 모습을 보인다. 일부 task에서는 RAG-Sequence보다도 높은 성능을 기록했다.

➡️ 반면, RAG-Sequence는 문서 전체 맥락을 바탕으로 생성하기 때문에 문맥 연결이나 길이 있는 응답 생성에서 더 안정적인 결과를 보여주는 경향이 있다. 특히 CT나 MS MARCO R-L 지표에서 강세를 보인다.

➡️ BM25 기반의 RAG들은 semantic matching에 약해 성능이 전반적으로 낮게 나타난다. 특히 생성 관련 지표(BLEU, ROUGE 등)에서 그 차이가 더 도드라진다.

➡️ Frozen retriever를 사용하는 경우, retriever를 학습시키지 않기 때문에 성능이 하이브리드(end-to-end fine-tuned) RAG보다 떨어지지만, BM25보다는 나은 결과를 보인다.

---

5. Related Work

생성 응답의 품질을 직접 분석해보면

• 더 다양하고 자연스러운 표현
• 질문과 직접적으로 연관된 문장 인용
• 장문 응답에서도 구조가 안정적임

Q : Why is the sky blue?
BART : Because of light.
RAG : The blue color of the sky is caused by Rayleigh scattering of sunlight by the atmosphere.

• PT, BERT, T5, BART 등은 모두 parametric한 지식 구조

• OpenBookQA, REALM, ORQA 등은 retrieval을 도입했으나 generator와 결합 방식이 제한적

• RAG는 search + generation + end-to-end 학습 가능이라는 점에서 차별화됨

---

6. Discussion

• Open-domain QA 태스크에서 SOTA 성능 달성

• 사람 평가에서 BART보다 RAG의 출력이 더 사실적(factual)이고 구체적(specific)이라는 결과

• retrieval 모듈의 유효성을 정량적·정성적으로 분석

• 모델 재학습 없이 지식 업데이트가 가능함을 입증
  
  

Broader Impact

• 긍정적 효과

  • Wikipedia 기반 factual generation을 통해, "hallucination" 현상(사실이 아닌 허위 생성) 감소
  • 출력에 대해 해석 가능성(interpretable) 및 출처 기반 통제력 향상
  • 다양한 도메인에 확장 가능 ex) 의료 인덱스를 연결한 의료 QA 시스템
  • 직업 영역에서 지식 작업 보조 도구로 활용 가능

• 잠재적 위험

  • 외부 지식 소스(Wikipedia 포함)는 편향 또는 오류 가능성 존재
  • RAG도 기존 언어 모델과 유사한 오남용 가능성을 가짐 ex) GPT-2처럼 다음과 같은 악용 가능성(허위 정보, 조작 콘텐츠 생성 등)
  • 고도화된 언어 모델은 장기적으로 일자리 자동화 위험도 포함됨

• 대응 제안

  • 오남용 방지를 위해, AI 시스템으로 AI 기반 스팸/허위 콘텐츠를 탐지하는 메타-시스템 개발 필요

---

7. Conclusion

• RAG는 Knowledge-Intensive Task에 최적화된 하이브리드 모델

• Retrieval + Generation의 결합으로

  • 정확성, 다양성, explainability 동시 개선
  • 지식 업데이트 가능 (retriever만 바꾸면 됨)
  • 파인튜닝을 통한 task별 최적화 가능

• NLP의 추론 기반 생성 시스템에서 사실성을 확보하는 중요한 프레임워크로 자리잡음

---

💭 My Thoughts

• 모든 지식을 모델 안에 때려넣는 방식이 아니라, 외부 지식을 찾아와서 쓰는 구조라는 점에서 "학습 비용을 줄이면서도 성능은 유지하려는" 고민이 느껴졌다. 앞으로 더 커지는 모델 시대에 이런 구조는 꽤 현실적인 선택처럼 보였다.
• 실제로 프로젝트를 하면서 RAG를 사용해서 챗봇을 만든 적이 있는데, 이렇게 외부 문서를 실시간으로 참조할 수 있다는 점이 유용했다. 그러나, 여전히 hallucination이 존재해서 prompt engineering에 힘썼다.