RAG

• 외부 데이터를 참조해서 LLM이 답변할 수 있도록 해주는 프레임워크
• LLM이 갖고 있지 않은 지식을 보여주기 위함.
• LLM은 학습이 필요하여 GPU등의 장비가 필요함.
• 사용자가 질문을 했을 때 QA 시스템이 외부데이터에서 사용자의 질문과 유사한게 무엇인지 출력하고, 사용자의 질문과 QA시스템의 질문을 합하여 LLM에 질문한다.

구조

1. 사용자 질문
2. 외부 데이터에 유사 문장 검색
3. 유사문장 포함 질문을 LLM에 함
4. 답변

Retrieval

• RAG의 대부분의 구성 요소를 아우르며, 구성 요소 하나하나가 RAG품질을 좌우한다.
• Document Loaders -> Text Splitters -> Vector Embeddings -> Retrivers 의 과정을 거친다.

Document Loaders

• 다양한 형식의 문서를 불러오고 LangChain에 결합하기 쉬운 텍스트 형태로 변환하는 기능
• Page_content(문서의 내용)과 Metadata(문서 자체의 정보)를 알 수 있다.
• txt, pdf, word 등 모든 형식의 문서를 기반으로 LLM을 구동할 수 있다.
• URL을 이용한 Loader도 가능.

참고

• https://www.youtube.com/watch?v=tIU2tw3PMUE&t=312s