AI에게 내부 문서에 관한 질문을 했을 때, 모델이 그 문서를 학습한 적이 없다면 어떻게 답할 수 있을까요? 한 가지 방법은 질문과 관련된 문서를 찾아 답변에 필요한 자료로 함께 제공하는 것입니다. 이 접근을 이해할 때 등장하는 용어가 RAG입니다.
검색한 자료를 답변의 맥락에 넣습니다
RAG는 Retrieval-Augmented Generation, 우리말로는 검색 증강 생성이라고 부릅니다. 외부 자료에서 관련 정보를 검색하고, 그 내용을 바탕으로 모델이 답변을 생성하도록 구성하는 방식입니다.
예를 들어 가상의 도서관 안내 서비스에 “주말에는 몇 시까지 운영하나요?”라고 질문했다고 가정하겠습니다.
질문 입력
↓
운영시간과 관련된 문서 검색
↓
질문 + 검색된 문서 내용을 모델에 제공
↓
문서를 근거로 답변 생성모델이 모든 문서를 한꺼번에 기억하는 구조라고 이해하면 부정확합니다. 검색 시스템이 고른 자료를 해당 답변의 맥락으로 제공하는 것이 핵심입니다.
문서를 준비하는 과정과 답하는 과정을 구분합니다
문서 준비 단계에서는 자료를 수집하고 검색하기 좋은 단위로 나누어 색인을 만듭니다. 긴 문서를 작은 단위로 나누는 작업은 청킹(chunking)이라고 부릅니다.
의미가 비슷한 내용을 찾기 위해 텍스트를 벡터로 표현하는 임베딩(embedding)을 사용할 수 있습니다. 다만 RAG가 반드시 벡터 검색만 사용하는 것은 아닙니다. 키워드 검색이나 두 방식을 결합한 검색도 가능합니다.
질문이 들어오면 관련 자료를 검색하고, 필요한 내용을 선별해 모델에 전달합니다. 문서를 너무 잘게 나누면 앞뒤 조건이 떨어져 나갈 수 있고, 너무 크게 나누면 불필요한 내용까지 함께 들어갈 수 있습니다.
파인튜닝과는 무엇이 다를까요?
| 구분 | RAG | 파인튜닝 |
|---|---|---|
| 중심 작업 | 답변 시 참고할 외부 자료 검색 | 추가 학습을 통해 모델 파라미터 조정 |
| 새 문서 반영 | 자료와 검색 색인 갱신 | 학습 데이터 준비 및 추가 학습 검토 |
| 함께 쓸 수 있는가 | 파인튜닝된 모델과 조합 가능 | RAG와 조합 가능 |
RAG의 검색·참고 단계 자체가 모델의 가중치를 다시 학습시키는 것은 아닙니다. 반면 파인튜닝은 추가 학습으로 모델의 동작을 조정하는 방법입니다. 어느 쪽이 항상 우월하다기보다 해결하려는 문제에 따라 선택하거나 조합합니다.
근거가 있어도 정답인지는 따로 확인해야 합니다
도서관 안내 문서에서 평일 운영시간만 검색됐다면, 생성 모델이 아무리 자연스럽게 답해도 주말 질문에는 맞지 않을 수 있습니다. 검색된 문서가 오래됐거나, 답변이 문서의 예외 조건을 빠뜨리는 경우도 생각해야 합니다.
따라서 다음 세 단계를 나눠 점검할 수 있습니다.
- 질문에 답할 수 있는 자료가 검색됐는지 확인합니다.
- 자료가 최신이며 해당 질문의 조건에 맞는지 확인합니다.
- 답변의 주장과 제시된 근거가 실제로 일치하는지 확인합니다.
RAG는 외부 지식을 활용하는 유용한 구성 방식이지만, 사실 오류를 자동으로 없애는 장치는 아닙니다. 서비스를 살펴볼 때는 “문서를 연결했다”는 설명에서 한 단계 더 나아가 어떤 자료를 검색했고, 답변이 그 자료를 정확히 반영했는지를 확인하는 것이 중요합니다.
확인일: 2026년 10월 2일
