LangChain 이란?

• LLM을 사용하여 서비스를 만드는 것을 도와주는 역할
• RAG는 크게 LangChain, LlamaIndex 두 라이브러리를 사용하여 구축할 수 있음.

LangChain Ecosystem

LangSmith

• RAG-LLM 으로 이루어진 시스템에서 LLM이 어떤 문서 기반으로 답변을 도출하였는지, 세부적으로 Tracking 하는 과정을 보여주는 library
• RAG-LLM 시스템의 Tracking 과정을 위한 도구

LangGraph

• RAG-LLM 시스템의 다중 협업 Agent에 사용되는 도구

LangServe

• RAG-LLM 시스템 배포 도구

알아야 할 용어들

Model

• LLM을 의미. OpenAI의 GPT-4, LlaMa, Gemini 등이 있음.

Input, Output Price

• input: 사용자 입력에 대한 tokenize에 드는 비용
  • 저렴한 tokenizer를 찾아보자!
• output: 입력된 token들에 대한 inference에 드는 비용

Context Window(Length)

• 입력과 출력을 처리할 수 있는 최대 토큰 길이
• context length = system prompt + input token + output token
• 즉, 답변 길이가 길어질수록, input으로 넣을 수 있는 길이는 감소

max tokens

• 답변에 대한 최대 토큰 수
• gpt4의 경우, 최대 출력 token 수가 4096개