"태양계에서 위성을 가장 많이 거느린 행성은?"
만약 2000년대에 LLM(대규모 언어 모델)에게
이 질문을 했다면, 목성이라고 답변할 것이다.
그러나 2025년에 이러한 답변을 한다면, 잘못된 정보다.
현 시점에서 위성을 가장 많이 거느린 행성은 토성이다.
왜 이런 일이 발생했을까?
LLM은 훈련 데이터 범위의 지식을 기반으로 답변하는데
실제로는 없거나 사실이 아닌 정보를 사실인 것처럼 말하는
환각(Hallucination) 현상이 발생하기도 한다.
LLM에서 더 나은 결과를 생성하기 위한 방법
RAG, Fine-Tuning, Prompt Engineering 세 가지를 들 수 있다.
RAG(Retrieval-Augmented Generation)란?
LLM(대규모 언어 모델) 응답을 강화하는 파이프라인이다.
RAG 기술이 주목받는 이유
LLM의 환각 현상(Hallucination)을 줄일 수 있다
최신 정보를 기반으로 정확하고 신뢰할 수 있는 답변을 생성할 수 있다.
특정 도메인에 특화된 답변을 생성할 수도 있다.
회사 내부 DB에 저장할 수 있다.
소프트웨어에서 소스 코드의 오류 또는 버그를 찾아 수정하는 디버깅이 가능해진다.
RAG 구성 요소 및 파이프라인
User -> Query -> Embedding -> Vector DB -> Retrieval -> LLM Prompt -> Answer
User가 Query를 입력하면
시스템은 Query를 임베딩하여 벡터로 변환
Vector DB에 저장된 벡터들 중 가장 유사한 문서를 검색(Retrieval)
검색하여 찾은 관련 문서들을 context로 구성(Augmentation)
LLM은 context를 참고해 질문에 대한 답변을 생성(Generator)
RAG 관련 프레임워크
LangChain, Llamaindex 등을 통해 RAG 시스템을 구현할 수 있다.
