RAG?

Retrieval-Augmented Generation(RAG) 은 대규모 언어 모델이 답변을 생성하기 전에 외부 지식 저장소에서 관련 정보를 검색하여, 그 결과를 바탕으로 답변을 생성하도록 하는 방식이다.

기존의 대규모 언어 모델은 학습 시점까지의 데이터만을 기반으로 동작한다. 이로 인해,

• 최신 정보가 반영되지 않는다.
• 모델이 알지 못하는 내용에 대해 사실과 다른 답변을 생성할 수 있다.
• 답변의 근거를 명확하게 제시하기 어렵다.

RAG는 이러한 한계를 해결하기 위해, 질문이 들어올 때마다 외부 데이터 소스에서 관련 정보를 검색하고 이를 답변 생성 과정에 포함하도록 설계되었다. 이로 인해 모델은 더 정확하고 검증 가능한 답변을 생성할 수 있다.

그렇다면 어떤식으로 RAG가 구성이 될까?

이 그림이 RAG가 작동되는 방식이다.

1. Prompt + Query 입력 단계

사용자가 시스템에 질문, 즉 Query를 입력한다.

이 단계에서는 아직 외부 지식 검색이 이루어지지 않는다.
RAG 시스템에서 입력을 받는 단계라고 볼 수 있다.

2. Query를 이용한 관련 정보 검색 단계

입력된 Query는 곧바로 LLM으로 전달되지 않고, Search Relevant Information 단계로 전달된다.

이 단계에서는 사용자의 질문을 분석한다.

질문과 의미적으로 가장 관련 있는 정보를 미리 구축된 Knowledge Sources에서 찾는다.

Knowledge Sources에는 PDF 문서, 내부 규정 및 매뉴얼, 데이터베이스, 로그, 보고서, 기술 문서 등이 있을 수 있다.

3. Enhanced Context 생성을 위한 관련 정보 반환

검색 결과로 얻어진 문서나 텍스트는 Relevant Information for Enhanced Context 로 표시된 경로를 통해, 다시 애플리케이션으로 전달된다.

이 정보는 그대로 사용자에게 보여지지 않는 즉, LLM이 답변을 더 정확히 생성하도록 돕는 보조 정보이다.

이로 인해 모델은 실제 문서에 존재하는 정보를 기반으로 답변할 수 있게 된다.

4. Prompt + Query + Enhanced Context 구성 단계

이 단계에서 RAG가 완성된다.

애플리케이션이 Prompt + 사용자 Query + 검색을 통해 얻은 Enhanced Context를 통합한다.
이렇게 통합된 정보는 Large Language Model Endpoint 로 전달된다.

즉, LLM은 처음부터 끝까지 모든 정보를 알고 있는 상태에서
답변을 생성하는 것이 아니라, 검색으로 보강된 문맥을 참고하여 답변을 생성하게 된다.

5. Generated Text Response 생성 단계

LLM은 전달받은 Prompt, Query, Enhanced Context를 종합하여
최종 텍스트 응답을 생성한다.

이론써, 기존 LLM의 단점인 허위 정보 생성 가능성이 낮다. 또한, 내부 문서나 최신 정보가 반영될 수 있다. 출처 기반 답변도 가능하다.