Sparse Retriever VS Dense Retriever

---

🔎 Sparse Retriever (희소 검색기)

👉 Ctrl+F로 단어 찾기 같은 방식

• 문서 전체를 그냥 "단어 목록"처럼 저장해둡니다.
• 네가 “사과”라고 검색하면, 진짜 그 단어가 적혀 있는 부분만 찾아줍니다.

📌 특징

• 단어가 똑같이 있어야 찾음.
• 예: "자동차" 검색 → "자동차"는 찾지만, "승용차"는 못 찾음.

---

🤖 Dense Retriever (밀집 검색기)

👉 네가 말한 의미를 이해해서 찾아주는 방식

• AI가 문장을 숫자로 바꿔서 저장해둡니다. (이걸 임베딩이라고 해요)
• 네가 "자동차"라고 검색하면, 그 숫자 공간에서 "승용차", "차량" 같은 비슷한 의미도 같이 찾아냅니다.

📌 특징

• 의미가 비슷하면 단어가 달라도 잘 찾음.
• 예: "자동차" 검색 → "승용차", "버스"도 추천될 수 있음.

---

🍎 비유: 과일 가게 찾기

• Sparse 방식: “사과 주세요” → 가게에서 "사과"라는 이름이 붙은 상자만 꺼내줌. (배, 복숭아는 무시)
• Dense 방식: “달콤하고 빨간 과일 주세요” → 가게에서 "사과"뿐 아니라 "딸기", "체리"도 같이 꺼내줌.

---

🔍 RAG에서 활용되는 다양한 Retriever 비교

1. 들어가며

RAG(Retrieval-Augmented Generation) 시스템의 핵심은 Retriever입니다.
Retriever는 방대한 데이터 속에서 사용자의 질문과 가장 관련성이 높은 문서를 찾아 LLM에 제공하는 역할을 합니다.
오늘은 기본적인 VectorStore Retriever부터, 앙상블·다중 쿼리·시간 가중 같은 확장형 기법까지, 11가지 Retriever를 비교해 보겠습니다.

---

2. Retriever 종류별 분석

① VectorStore-backed Retriever

• 특징: 임베딩 기반의 Dense 검색
• 장점: 단어가 달라도 의미 기반으로 검색 가능
• 단점: 단순 근접 계산이라 긴 문맥에서는 한계
• 비유: 분위기가 비슷한 영화를 찾아주는 추천 시스템

---

② Contextual Compression Retriever

• 특징: 검색된 문서에서 불필요한 부분을 압축해 질문과 관련된 부분만 전달
• 장점: 토큰 절약, 긴 문서에도 효과적
• 단점: 요약 과정에서 중요한 디테일 손실 가능
• 비유: 논문 전체 대신 형광펜으로 표시된 부분만 보여주는 것

---

③ Ensemble Retriever

• 특징: 여러 Retriever 결과를 결합
• 장점: 다양한 기법의 강점 결합으로 정확도 상승
• 단점: 구현 복잡도와 비용 증가
• 비유: 친구, 평론가, 알고리즘의 의견을 합쳐 영화 추천

---

④ LongContext Reorder

• 특징: 긴 문서를 청크 단위로 재정렬해 맥락을 유지
• 장점: 문맥 단절을 방지
• 단점: 속도가 느려질 수 있음
• 비유: 필요한 문단을 뽑아 원래 순서대로 다시 배열하는 것

---

⑤ Parent Document Retriever

• 특징: 청크를 기준으로 검색하되, 최종적으로는 상위 문서를 함께 반환
• 장점: 맥락 보존, 오해 줄임
• 단점: 상위 문서가 크면 불필요한 내용 포함
• 비유: 기사 한 문단만이 아니라 전체 기사를 함께 보여줌

---

⑥ MultiQuery Retriever

• 특징: 질문을 여러 버전(파라프레이즈)으로 변환해 검색
• 장점: 애매하거나 다양한 표현 대응
• 단점: 검색 비용 증가
• 비유: 맛집을 찾을 때 ‘서울 맛집’, ‘서울 핫플’, ‘서울 미슐랭’ 등으로 동시에 검색

---

⑦ MultiVector Retriever

• 특징: 한 문서를 여러 벡터 표현으로 저장 (요약·세부·별칭 등)
• 장점: 다양한 관점에서 검색 가능
• 단점: 저장 공간·계산 자원 증가
• 비유: 한 사람의 이력서를 짧은 버전, 긴 버전, 별명 버전으로 동시에 보관

---

⑧ SelfQuery Retriever

• 특징: LLM이 질문을 해석해 조건(메타데이터 필터 등)을 자동 생성
• 장점: 정교한 검색 가능
• 단점: LLM 해석 오류 시 엉뚱한 검색 가능
• 비유: “최근 개봉한 액션 영화” → 장르=액션, 개봉일>2023 조건을 자동 적용

---

⑨ TimeWeighted VectorStore Retriever

• 특징: 벡터 유사도 + 최신성(time decay)을 함께 고려
• 장점: 최신 정보 검색에 강함
• 단점: 오래된 정보는 불이익 받을 수 있음
• 비유: 유튜브에서 최신 업로드 영상을 우선 추천

---

⑩ 한국어 형태소 분석 + BM25 Retriever

• 특징: Kiwi, Kkma, Okt 등 형태소 분석기와 BM25(Sparse 검색)를 결합
• 장점: 한국어 특유의 어미·조사 처리에 강함
• 단점: 의미 이해는 부족, Dense만큼 강력하지 않음
• 비유: 국어사전처럼 정확한 단어 매칭 기반 검색

---

⑪ Convex Combination(CC) Ensemble Retriever

• 특징: Sparse + Dense 결과를 가중 평균(Convex Combination) 방식으로 결합
• 장점: 상황에 맞춰 균형 있는 검색 성능 확보
• 단점: 최적 가중치 찾는 과정 필요
• 비유: 친구 의견 70% + 평론가 의견 30% 비율로 종합

---

3. 한눈에 보는 비교표

Retriever	특징	장점	단점	비유
VectorStore	기본 Dense 검색	의미 검색 가능	긴 문맥 한계	분위기 비슷한 영화 찾기
ContextualCompression	검색 결과 압축	토큰 절약	디테일 손실	형광펜 표시
Ensemble	여러 기법 결합	성능↑	비용↑	의견 종합
LongContextReorder	청크 재정렬	맥락 유지	속도↓	문단 순서 맞추기
ParentDocument	상위 문서 반환	맥락 보존	불필요 정보↑	기사 전체 보기
MultiQuery	다중 쿼리	표현 다양성 대응	비용↑	맛집 여러 키워드 검색
MultiVector	다중 임베딩	다양한 관점 검색	자원↑	이력서 여러 버전 저장
SelfQuery	LLM이 조건 생성	정교한 검색	오류 가능	자동 필터링 검색
TimeWeighted	최신성 반영	최신 정보↑	오래된 정보↓	최신 영상 추천
형태소+BM25	한국어 특화 Sparse	한국어 정확도↑	의미 이해 한계	국어사전 검색
CC 앙상블	가중치 결합	균형 성능	튜닝 필요	의견 비율 조정

---

4. 마무리 & 인사이트

Retriever는 단순히 “문서를 찾아오는 기능”이 아니라, RAG의 품질을 결정하는 핵심 요소입니다.

• Dense(VectorStore)는 의미 이해에 강력하지만, 맥락 유지가 어렵습니다.
• Sparse(BM25)는 정확 매칭에 강하지만, 의미 검색은 약합니다.
• Ensemble/CC는 두 방식을 결합해 균형을 잡습니다.
• MultiQuery, ParentDoc, LongContext는 “검색 정확도 + 맥락 보존”에 도움을 줍니다.
• SelfQuery, TimeWeighted는 “스마트 검색”을 가능하게 합니다.

👉 실제 서비스에서는 Hybrid + Ensemble을 기본으로 하고, 데이터 특성과 비용/속도 요구에 따라 다른 기법을 조합하는 전략이 가장 많이 활용됩니다.