🤖 ChatGPT보다 똑똑한 RAG 만들기?! Advanced RAG 개념부터 기법까지 정리

📌 "검색만 잘해도 반은 먹고 들어간다" — RAG에도 완벽히 적용되는 말인듯 싶습니다.

🧑‍💻 Intro: RAG가 뭐예요?

RAG (Retrieval-Augmented Generation)는
LLM(예: GPT-4, Claude, Mistral 등)에게 검색을 붙여주는 방식이에요.

처음에 RAG를 접했을 땐
“그냥 문서 검색해서 LLM에 넣는 거 아닌가?”

하지만

고급 RAG는 단순 검색 + 생성이 아닙니다.
파이프라인 전반을 최적화해서
검색 정확도, 문맥 이해도, 응답의 신뢰도까지 다 높여주는 구조거든요.

이번 글에서는 제가 공부하면서 정리한
"Advanced RAG가 뭔지", "왜 필요한지", "어떤 기술들이 쓰이는지"
정리해보겠습니다.

📚 RAG가 뭔데요?

RAG는 “Retrieval-Augmented Generation”의 줄임말로,
쉽게 말하면 LLM에게 ‘검색 기능’을 붙여주는 구조입니다.

예를 들어 GPT-3.5 같은 LLM은
2023년 이전까지의 지식만 학습돼 있어서
그 이후 생긴 정보는 모르고 있어요.

예를 들어,

"2024년 총선에서 어떤 정책이 새로 나왔어요?"
"GPT-4.5에서 추가된 기능이 뭐예요?"

이런 질문은 기본 GPT로는 답을 못 해요.

이럴 때 필요한 게 바로 RAG예요.
외부 문서, PDF, 웹 검색 결과 등을 LLM에 함께 넣어서
지금 이 순간의 정보까지 반영한 응답을 생성할 수 있게 해주는 기술입니다.

📦 Naive RAG는 이렇게 작동해요

기본적인 RAG는 다음과 같은 구조로 되어 있어요:

📄 문서를 청크(chunk) 단위로 잘라서 벡터로 변환

🔍 사용자의 질문도 벡터로 만들어서, 문서 벡터들과 비교해 Top-K 검색

🧠 검색된 청크를 LLM에게 함께 보내서 응답 생성

이게 기본 구조인데, 현실에서는 여러 문제가 발생합니다...

⚠️ Naive RAG의 한계

항목 문제점
인덱싱 PDF나 보고서 같은 문서를 제대로 파싱 못 해서 정보가 유실됨
검색 중복된 내용만 나오거나, 중요한 내용을 못 찾는 경우 많음
생성 LLM이 잘못된 문맥을 받아서 오답을 내거나 편향된 정보 생성
특히 검색이 부정확하면,
아무리 좋은 LLM을 써도 이상한 답변이 나오게 되더라고요 😭

🌟 그래서 등장한 Advanced RAG

Advanced RAG는 Naive RAG의 단점을 보완한 구조예요.
전체 과정을 다음 4단계로 나누고, 각 단계마다 최적화 기법을 적용합니다.

Advanced RAG의 4단계 구조
Pre-Retrieval: 검색 전 준비 (문서 파싱, 쿼리 정리 등)

Retrieval: 검색 최적화 (하이브리드, 임베딩 튜닝 등)

Post-Retrieval: 결과 압축, 재정렬, 필터링

Generation: 답변 생성 최적화 (다중 생성, 요약 등)

🔍 1단계: Pre-Retrieval

🧾 PDF 파싱
PDF는 단순한 텍스트가 아니라
"어디에 어떻게 출력할지를 지시하는 명령어 덩어리"에 가깝습니다.

그래서 그냥 텍스트로 추출하면
문단, 표, 그림이 다 깨지거나 줄바꿈이 엉망이 되죠.

💡 해결 방법:

pypdf: 룰 기반 파서, 간단하지만 구조 인식 어려움

Unstructured, LayoutParser: 딥러닝 기반, 표/문단 인식 가능

PP-StructureV2: 문서 안의 핵심 정보까지 추출

✍️ 쿼리 재작성

사용자 질문이 애매하거나 여러 주제를 섞어서 묻는 경우,
그대로 검색하면 정확한 결과를 못 찾는 경우가 많아요.

💡 해결 방법:

Step-Back Prompting: 질문을 더 일반화해서 검색

HyDE: 질문으로 가상 문서를 생성 → 임베딩 후 검색

Query2Doc: LLM이 문서처럼 재작성해서 검색 효율 ↑

ITER-RETGEN: 생성과 검색을 반복해서 더 정확한 정보 획득

🔗 문맥 확장
하나의 문장만 검색되면 이해하기 어렵죠.
그래서 앞뒤 문장을 함께 가져오거나, 상위 문서 단위로 묶어서 전달해요.

Sentence Window Retrieval: 앞뒤 k개 문장 함께 전송

Parent Chunking: 청크들을 상위 의미 단위로 묶기

🔎 2단계: Retrieval (검색 최적화)

🧬 하이브리드 검색
키워드 검색 (BM25 등) → 정확한 단어 일치

의미 기반 검색 (벡터 임베딩) → 유사한 문맥 이해

💡 두 가지를 RRF (Reciprocal Rank Fusion)으로 조합해서
정확도와 커버리지를 동시에 높입니다.

✂️ 3단계: Post-Retrieval (결과 정리)

🔄 리랭킹 (Re-Ranking)
검색된 Top-K 청크 중에서도
진짜 중요한 걸 위로 올려주는 과정입니다.

bge-reranker, Cohere API

RankGPT: LLM 기반으로 슬라이딩 윈도우 방식 리랭킹

📉 프롬프트 압축 (Prompt Compression)

LLM에게 넣을 수 있는 토큰 수는 한계가 있어요.
(예: GPT-3.5는 약 4,000 tokens)

💡 해결 방법:

Selective Context: 정보량 많은 부분만 남김

LLMLingua, LongLLMLingua: 의미 단위로 압축

AutoCompressor: soft prompt로 요약 정보 전달

RECOMP: 문장 단위로 압축 or 요약 생성

🧼 필터링
필요 없는 문서, 중복된 내용, 신뢰도 낮은 정보는 제거합니다.

FiD-TF, Self-RAG, CRAG 등은
토큰 수준에서 중요성 판단 후 필터링까지 수행해요!

🧠 4단계: 생성 (Generation)

다양한 생성 기술들
DSP: 여러 쿼리 → 여러 문서 검색 → 종합해서 응답 생성

PRCA: 보상 기반 학습으로 더 나은 응답 유도

REPLUG: 검색 결과를 그대로 LLM 입력에 추가

RECITE: 다양한 답변 생성 후 다수결로 최종 응답 선택

🧑‍💻 기타 고급 구성

🗨️ Chat Engine
대화형에서는 이전 대화 내용을 자동 요약해서 쿼리에 반영해야 해요.
예: ContextChatEngine, CondensePlusContextMode

🤖 Agent 구조

문서마다 요약/질의응답 전담 Agent를 만들고,
Top Agent가 전체 통제 → 질문을 각 Agent에 전달하고 응답을 종합!

🔧 모델 튜닝

GPT-4로 질문-응답 데이터 만들고 → GPT-3.5에 파인튜닝

RA-DIT: Retriever + Generator를 동시에 학습시켜 성능 ↑

✅ 평가도 중요해요!

잘 작동하는 RAG인지 어떻게 알 수 있을까요?

1. Ragas: 정답성, 검색 정확도, 응답 적절성 측정

2. LangSmith: 체인 내 행동 추적

3. OpenAI Cookbook: 평가 기준별 테스트 스크립트 제공

참고자료: [ https://medium.com/@vipra_singh/building-llm-applications-advanced-rag-part-10-ec0fe735aeb1 ]