RAG

검색 증강 생성 (Retrieval-Augmented Generation)
AI 가 응답을 생성하기 전에, 필요한 자료를 먼저 찾아 읽고(검색) 그 근거를 바탕으로(증강) 답하게(생성) 만드는 방식.

일반적인 LLM은 학습한 내용을 모델 파라미터에 압축. 정보의 최신성, 조직 내부 지식, 근거 제시에 있어서 약점을 가짐.

RAG를 이용하면

• 최신 문서, DB를 검색하여 학습 뒤 바뀐 정보까지 제시 가능
• 사내 자료를 검색하여 조직 내부 지식도 활용 가능
• 생성한 내용에 대한 참고 문서와 출처 제공 가능

RAG의 품질은 찾아온 자료의 품질과 검색 정확도에 크게 좌우됨.

간단한 사례: 사내 문서 챗봇

직원이 질문 시, 관련된 조회 권한이 있는 사내 규정을 검색 -> 관련 조항을 읽고 바탕으로 답변을 생성

단순 지식, 창작, 대화를 원하는 경우에는 일반 LLM과 좋은 프롬프트가 더 나음. 또한 계산과 데이터 집계의 경우에도 Tool을 이용하는 방식이 나음. RAG는 정보를 가져오는 데 강함.

믿을 수 있는 문서 목록과 문서 조회 권한이 중요

작동 과정

준비 단계와 답변 단계

준비 단계

문서를 읽기 쉬운 조각으로 만들어 검색 가능하게 보관

자료 수집 -> 문서 정리와 청킹 -> 임베딩 -> 검색용 저장소

답변 단계

질문에 맞는 조각을 찾아 LLM에게 전달하고 답변 생성

질문 이해와 검색 -> LLM에게 질문과 근거를 함께 전달(프롬프트 증강) -> 답변과 인용 생성

설계 포인트

RAG 성능은 문서 품질 / 검색 품질 / 근거 기반 답변 품질 에 좌우됨.

1. 원문 품질

• 최신 버전 명확
• 제목 목차 문단 구조 정돈
• 메타데이터 존재
• 접근 권한 확인 가능
  가장 효과적인 RAG 개선은 종종 문서 정리임.

2. 청킹
   문서의 구조와 질문 유형에 맞춰 적절한 크기를 선정
   (서로 의존하는 내용은 한 청크에 남기는 게 좋음)

3. 검색
   키워드 검색과 의미 검색

• 정확한 단어를 찾는 키워드 검색. 표현이 다르면 놓칠 수 있음. (BM25가 대표적인 키워드 검색 방법)
• 의미가 비슷한 자료를 찾는 의미 검색

  하이브리드 검색

4. 메타데이터 필터
5. 재순위화
   빠른 초기 검색 후 재검색

• 문서가 많고 비슷한 내용이 많은 경우
• 질문이 여러 의도로 해석 가능한 경우

6. 질의 재작성 (질의 확장)
   사용자의 질문과 이를 검색에 더 유리하게 바꾼 형태를 함께 사용.

7. 답변 규칙
   근거를 찾은 것과 근거대로 답하는 것은 다름.
   예시 규칙

• 제공된 근거에 있는 내용만 말한다.
• 근거가 부족하면 추정하지 말고 부족하다고 말한다.
• 규정의 예외 조건도 함께 설명한다.
• 출처를 붙인다.
• 출처끼리 충돌하면 하나를 임의로 고르지 말고 충돌을 알린다.

한계와 대응

• 검색 실패
  - 하이브리드 검색
  • 청킹 개선
  • 재순위와
• 근거 왜곡
  - 근거 내 답변 규칙 설정
  • 답변 검증
• 비용과 지연
  - 후보 수 제한
  • 캐시
  • 짧고 좋은 청크
• 복잡한 추론
  - 계산 도구
  • DB 질의
  • 사람의 승인 결합

좋은 RAG는 충분한 근거를 찾았는지 판단하고, 근거를 포함한 답변 or 근거 부족과 추가 자료 요구를 안내할 줄 알아야 함.

발전 과정

1. 기본 RAG
   질문 -> 문서 검색 -> 상위 문서 조각 -> LLM 답변

빠르고 구현 쉽지만, 검색 결과가 부족하거나 틀리면 흔들림.

2. Advanced RAG
   질문 -> 질문 재작성 -> 하이브리드 검색(키워드 + 의미) -> 날짜 권한 버전 필터 -> 재순위화 -> 정제된 근거 -> 근거 기반 답변

• 문서 주로를 고려한 청킹 방법
• 하이브리드 검색
• 필터링
• 후보 문서 다시 고르는 재순위화
• 질문 재작성
• 인용, 답변 보류, 근거 검증

3. Self RAG
   모든 질문에 같은 방식으로 검색하지 않고 다음을 판단

• 이 질문은 검색이 필요한가
• 가져온 근거는 관련 있는가
• 지금 만든 답은 근거에 충실한가

4. Corrective RAG (CRAG)
   결과가 질문과 관련있는지를 평가, 검색 결과 품질이 나쁘다고 판단되면 다른 전략을 사용. (검색어 변경, 다른 지식 베이스, 웹 자료 추가 검색, 답변 보류)

5. Adaptive RAG
   질문에 따라 다른 경로 선택
   질문의 난이도, 위험도, 최신성에 따라 검색 전략을 변경

6. Graph RAG
   문서의 관계까지 활용.
   원문에서 사람 조직 제품 사건 등 개체와 관계를 추출해 그래프 형태로 만들고 이를 검색 요약에 활용

7. Agentic RAG
   RAG를 하나의 도구로 삼아 AI가 여러 단계로 조사하도록 함.

평가와 운영

필요한 근거를 찾았는가
근거를 충실히 사용했는가
사용자에게 유용한가

• 최소 테스트 세트 만들기 (답할 수 없는 질문과 의도적으로 헷갈리게 만드는 질문 포함)
• 검색과 답변 분리해 진단

원칙 3가지

• 모델보다 먼저 문서와 권한을 정리한다.
• 검색 품질과 답변 품질을 따로 측정한다.
• 근거가 없을 때 “모르겠다”라고 말하게 만든다.