🦜🔗 LangChain 과 ChatGPT로 텍스트 파일 RAG 구현하기

🦜🔗LangChain?

• = 검색 + 프롬프트 + 임베딩/저장 + 유사도 검색 + 랭킹
• LLM과 외부 도구를 마치 사슬(체인)처럼 엮어 결합시켜 주는 프레임워크

LangChain 모듈

• 모델 I/O
  • LLM에 전달될 프롬프트 생성 (PromptTemplate)
  • 답변을 받기 위해 모델 API 호출 (HuggingFaceHub 활용 등)
  • 답변에 대한 출력 (출력 파서 활용)
• 데이터 연결
  • 문서 가져오기 (로더)
  • 문서 변환
  • 문서 임베딩 (OpenAIEmbeddings, sentence-transformers 등 활용)
  • 벡터 저장 (벡터 데이터베이스로 FAISS 활용 가능)
  • 검색기 (RetrievalQA)
• 체인
  • 여러 구성 요소를 조합해서 하나의 파이프라인 구성
    • 단일 랭체인은 LLMChain 활용
    • 체인 두개 연결할 경우 SequentialChain 활용
• 메모리
  • 모든 대화 유지
  • 최근 k개의 대화 유지
  • 대화를 요약해서 유지
• Agent / Tool
  • 외부 정보를 활용할 때 사용
  • Agent 는 LLM을 이용해서 어떤 작업을 순서대로 수행할지 결정하는 역할을 하고, 이 작업에 Tool 사용
  • Tool 은 특정 작업을 수행하기 위한 도구로, 위키피디아 등 LLM 이외의 다른 리소스

RAG(Retrieval-Argumented Generation)?

• = 정보 검색 + 생성

Code

사전 작업

• OpenAI API 발급 및 Billing 추가

리소스

Google Colab Pro+
T4 GPU + 고용량 RAM

라이브러리 설치

# python 은 3.8 권고 (현재 colab 은 3.10)
!pip install langchain
# 책에서는 !pip install langchain==0.0.350 권고.
!pip install unstructured
!pip install sentence-transformers==2.2.2
!pip install chromadb
!pip install openai

Drive Mount (로컬 경로 이용할 경우 생략 가능)

from google.colab import drive
drive.mount('/content/drive')

1. 텍스트 파일 로드

https://github.com/gilbutITbook/080413/blob/main/Data/AI.txt

from langchain.document_loaders import TextLoader
documents = TextLoader("/content/sample_data/AI.txt").load()

2. 문서를 청크로 분할

큰 덩어리의 문서를 작은 덩어리로 분할하는 과정

from langchain.text_splitter import RecursiveCharacterTextSplitter

def split_docs(documents,chunk_size=1000,chunk_overlap=20):
  text_splitter = RecursiveCharacterTextSplitter(chunk_size=chunk_size, chunk_overlap=chunk_overlap)
  docs = text_splitter.split_documents(documents)
  return docs

# docs 변수에 분할 문서를 저장
docs = split_docs(documents)

3. Chromdb에 벡터 저장

벡터 데이터베이스인 크로마에 임베딩 처리된 벡터 저장
임베딩 처리 모델 : all-MiniLM-L6-v2

from langchain_community.embeddings import SentenceTransformerEmbeddings
embeddings = SentenceTransformerEmbeddings(model_name="all-MiniLM-L6-v2")

from langchain.vectorstores import Chroma
db = Chroma.from_documents(docs, embeddings)

코드에서 langchain_community 에러 발생 시 실행시켜 본다 (이게 해답은 아닌 것 같음..)

!pip install langchain_community

4. OpenAI API Key 설정

import os #운영체제(os) 모듈을 가져올 때 사용되는 라이브러리
os.environ["OPENAI_API_KEY"] = "sk-key" #openai 키 입력

5. Q&A 체인을 사용하여 쿼리에 대한 답변 얻기

from langchain.chains.question_answering import load_qa_chain
chain = load_qa_chain(llm, chain_type="stuff",verbose=True)

6. 쿼리를 작성하고 유사성 검색을 수행하여 답변을 생성

query = "AI란?"
matching_docs = db.similarity_search(query)
answer =  chain.run(input_documents=matching_docs, question=query)
answer

결과

'AI란 인간이나 동물의 지능과는 달리 기계나 소프트웨어의 지능을 가리키는 용어입니다. 컴퓨터 과학 분야에서 발전하고 연구되는 지능적인 기계들을 가리키며, AI 기술은 산업, 정부, 과학 분야에서 널리 사용됩니다. AI 분야의 주요 응용 분야로는 고급 웹 검색 엔진, 추천 시스템, 음성 인식, 자율 주행 자동차, 창조적인 도구, 전략 게임 분석 등이 있습니다. Alan Turing이 기계 지능이라고 부르는 분야에서 첫 연구를 실시했고, 1956년에 학문적 분야로 설립되었습니다. 이후 딥 러닝과 transformer 아키텍처의 등장으로 AI에 대한 관심과 자금이 크게 증가했으며, 2020년대에는 미국을 중심으로 중요한 발전이 이루어지고 있습니다.'

Reference

• GitHub
  • https://github.com/gilbutITbook/080413/blob/main/%EC%8B%A4%EC%8A%B5/5%EC%9E%A5/5_2_%EB%9E%AD%EC%B2%B4%EC%9D%B8%EA%B3%BC_%EC%B1%97GPT%EB%A1%9C_RAG_%EA%B5%AC%ED%98%84%ED%95%98%EA%B8%B0.ipynb
• 책 : 랭체인으로 LLM 기반의 AI 서비스 개발하기
  • https://www.yes24.com/Product/Goods/125134177