📢 LangChain 개념에 대한 페이지입니다.

개념

LangChain

• LLM(대규모 언어모델)을 활용하여 애플리케이션 개발을 돕는 라이브러리
• LangChain 은 여러 구성요소들을 체인처럼 연결하여 복잡한 작업을 처리
• LLM 을 통하여 데이터를 분석하고 질문에 대한 답을 받는 작업을 진행
• 이미 만들어진 모델(gpt 등)을 사용함
• 주요 기능
  • 문맥 인식을 통한 추론 (나의 입력 데이터에 따라 인식하고 출력해줌)

대규모 언어모델(LLM)의 한계

• Halluciation(환각)
  • 일반적인 상황(모델이 이미 학습한 내용)에 대해서는 응답 성능이 좋으나, 훈련한 적 없는 영역에서는 성능 떨어짐(아는 것처럼 대답함)
  • LLM 의 규칙은 정답을 알려준다가 아니라 ‘대답을 해준다’임 (요즘에는 검색하면서 대답해주기는 함)
• LLM 모델은 상태를 저장하지 않기 때문에 이전 대화 내용을 기억하지 못함
• 서로 다른 시나리오 및 목적(task)에 따라 특화된 다양한 모델을 사용해야 함

LLM 의 한계 극복

LLM 모델을 극복하기 위해 LangChain, RAG 사용

• LangChain
  • LLM 의 다양한 문제를 해결하는 방안 제공
  1. Data Source ← RAG
     • PDF, 웹페이지, CSV 외부의 소스에서 데이터 검색 가능
     • 서로 다른 데이터에 엑세스하고 검색할 수 있는 모듈과 통합
     • RAG
       • 모델이 학습하지 않은 결과를 추가로 학습시킬 수 있음
       • 문서, 뉴스, 이미지 등 해당 내용 내에서만 대답함
       • 없으면 없다고 답함
  2. Word Embedding
     • 선택한 LLM 이 진행한 Embedding 모델을 활용하여 최적의 Embedding 진행
  3. VectorDB
     • 메모리를 저장하고 검색하여 활용할 수 있도록 지원
     • 이전 대화에 대해 메모리를 가짐으로써 기억 능력 가지게 됨
  4. LLM 모듈
     • LangChain 은 OpneAI 에서 제공하는 다양한 LLM 모델들을 활용할 수 있도록 지원 및 업데이트 *openai : 구글에서 다양한 llm 모델을 사용할 수 있도록 api 제공 (다만, 비용 지불해야 함)