LLM & RAG

RAG(Retrieval-Augmented Generation)는 정보 검색과 텍스트 생성을 결합한 자연어 처리 기술이다.RAG는 문서 검색기(retriever)와 텍스트 생성기(generator)를 유기적으로 결합한다.사용자의 질문이 입력되면 먼저 외부 데이터베이스에

1. 전체 코드 > ## 사용한 환경 OS : MAC OS 15.1 Beta Env : VS Code Python : 3.9 torch : 2.4.0 PyMuPDF : 1.24.9 langchain :

1. 파일 > RAG 시스템에게 넘겨 줄 수 있는 파일들의 종류는 사실 엄청 많다. 하지만 사내에서 주로 다루는 pdf를 다뤄보겠다. > ## RAG 시스템 지원 파일 형식 1. 텍스트 기반 파일 일반 텍스트 파일 (.txt) 마크다운 파일 (.md) HTML 파일

블로그의 파일들은 깃허브 내에서 다운 가능합니다. 깃허브 주소 1. Text Splitter란? > text_splitter는 LangChain에서 제공하는 도구로, 긴 텍스트 문서를 더 작고 관리하기 쉬운 청크(chunks)로 나누는 기능을 한다. > ## tex