LLM(Large Language Model)
대규모 텍스트 데이터로 학습된 언어 모델.
기본적으로는 학습 데이터에 기반해 답변한다.
그러나 LLM은 3가지 한계를 가지고 있다.
(1) 맞춤형 데이터 부족
기업 내부 문서나 특정 분야의 전문 데이터는 학습 데이터에 포함되지 않는 경우가 많다. 따라서 기업 환경이나 도메인별 업무에 바로 적용하기에는 한계가 있다.
(2) 업데이트 비용 문제
새로운 지식을 모델 자체에 반영하려면 추가 학습(Fine-tuning) 또는 재학습이 필요하다. 이는 많은 시간과 비용이 소요되며, 잘못 학습된 정보를 수정하는 것도 쉽지 않다.
※ 단, 검색·조회 도구(RAG)와 결합될 경우 최신 정보나 외부 지식을 활용할 수 있다. 다만 이러한 검색은 시스템 구조에 따라 항상 수행되거나, 필요할 때만 선택적으로 수행될 수 있다.
(예: "현재 환율이 얼마인가요?", "오늘 서울 날씨는 어떤가요?" 등 실시간 정보가 필요한 질문)
(3) 환각(Hallucination) 발생
LLM은 실제 사실과 다른 내용을 그럴듯하게 생성하는 경우가 있다.
- 내재적 환각(Intrinsic Hallucination): 학습한 정보를 잘못 조합하거나 문맥을 왜곡하여 사실과 다른 답변을 생성하는 경우
- 외재적 환각(Extrinsic Hallucination): 학습 데이터나 제공된 근거에 없는 내용을 추측하여 생성하는 경우
RAG (Retrieval-Augmented Generation)
RAG는 LLM의 한계를 보완하기 위해 등장한 기술이다.
방식
질문이 들어오면 외부 데이터베이스나 문서에서 관련 정보를 먼저 검색(Retrieval)한 뒤, 검색된 정보를 LLM에 함께 제공하여 답변을 생성(Generation)한다.
LLM과의 차이
| 항목 | LLM | RAG |
|---|---|---|
| 맞춤형 데이터 | 학습 데이터에 의존 | 사내 문서·전문 데이터 활용 가능 |
| 지식 업데이트 | 추가 학습 필요 | 외부 DB 갱신으로 즉시 반영 가능 |
| 환각 가능성 | 상대적으로 높음 | 상대적으로 낮음 |
(1) 맞춤형 데이터 활용
RAG는 사내 문서, 제품 매뉴얼, 법령, 연구 자료 등 원하는 데이터를 검색 대상으로 직접 지정할 수 있어,
기업 환경에 맞는 답변을 제공할 수 있다.
(2) 업데이트 방식
RAG는 외부 데이터베이스의 문서를 추가하거나 수정하는 것만으로 최신 정보를 반영할 수 있다.
모델 자체를 변경하지 않기 때문에 비용과 시간이 크게 절감된다.
(3) 환각(Hallucination) 감소
RAG는 검색된 문서를 근거로 답변을 생성하기 때문에 환각 가능성을 줄일 수 있다.
다만 검색된 문서의 품질이 낮거나 모델이 문서를 잘못 해석하는 경우에는 이녀석도 마찬가지로 환각이 발생할 수 있다.
시스터디 결론
Q . ChatGPT와 같은 LLM이 이미 많은 지식을 가지고 있는데, 왜 RAG(Retrieval-Augmented Generation)가 필요할까요?
A. LLM의 치명적인 단점을 보완하기 위해서입니다.
LLM은 개인 SNS나 회사 내부 데이터 등 맞춤형 데이터를 활용하기 어렵고,
새로운 정보를 모델에 반영하려면 많은 시간을 들여야 하며,
학습한 정보를 잘못 조합하여 사실과 다른 답변을 생성하거나 근거없는 내용을 추측하는 환각 현상이 발생하기도 합니다.
RAG는 이러한 한계를 보완하기 위해 등장했습니다.
RAG는 질문이 들어오면 외부 문서나 데이터베이스에서 관련 정보를 먼저 검색한 뒤,
그 내용을 근거로 답변을 생성합니다.
덕분에 맞춤형 데이터를 활용할 수 있고, 모델을 재학습하지 않아도 외부 DB만 갱신하면 최신 정보를 반영할 수 있으며, 검색된 문서를 근거로 답변하기 때문에 근거없는 내용을 추측하고 생성하는 외재적 환각 발생도 줄일 수 있습니다.
즉, RAG는 LLM의 답변정확성과 활용성을 높여주고,
언어모델의 사용성을 극대화해줍니다.
참고자료
[Tech Series] kt cloud AI 검색 증강 생성(RAG) #1 : 핵심 개념과 시스템 구조 이해
킹 갓 클로드
