240904 TIL RAG

1. RAG(Retrieval-Augmented Generation)의 기본 개념

1) LLM(Large Language Model)이란

• 대규모의 텍스트 데이터를 학습하여 언어의 구조와 의미를 이해하고, 그 학습을 바탕으로 텍스트 생성, 번역, 요약, 질문에 대한 답변 등 다양한 언어 관련 작업을 할 수 있는 인공지능 모델
• 자연어 처리(NLP)에서 사용되는 기술의 한 종류

2) LLM의 장점

• 광범위한 지식 활용
• 뛰어난 언어 이해 및 생성 능력
• 다양한 태스크 수행 가능
• 사용자 친화적인 인터페이스
• 다양한 분야에서의 활용

3) LLM의 단점

• 편향성 문제
• 사실 관계 오류 가능성
• 맥락 이해의 한계
• 일관성 문제
• 윤리적 문제

4) RAG란

• LLM의 단점 중 '사실 관계 오류 가능성'과 '맥락 이해의 한계'를 개선하는 데 초점
• LLM에 외부 지식 베이스를 연결하여 모델의 생성 능력과 사실 관계 파악 능력을 향상
• 보다 정확한 모델의 출력 결과를 제공하고, 출력 결과에 대한 증거를 제시할 수 있어 설명 가능성과 신뢰성이 높음

2. RAG의 주요 구성 요소

1) 질의 인코더(Query Encoder)

• 사용자의 질문을 이해하기 위한 언어 모델
• 주어진 질문을 벡터 형태로 인코딩

2) 지식 검색기(Knowledge Retriever)

• 인코딩된 질문을 바탕으로 외부 지식 베이스에서 관련 정보를 검색

3) 지식 증강 생성기(Knowledge-Augmented Generator)

• 검색된 지식을 활용하여 질문에 대한 답변을 생성하는 언어 모델

3. RAG의 동작 과정

1) 사용자의 질문이 주어지면 질의 인코더가 이를 이해하기 쉬운 형태로 변환
2) 지식 검색기가 인코딩된 질문을 바탕으로 외부 지식 베이스에서 관련 정보를 검색
3) 검색된 지식은 지식 증강 생성기의 입력으로 전달
4) 지식 증강 생성기는 검색된 지식을 활용하여 사용자 질문에 대한 답변을 생성