커스텀 GPT 만들기 #6 LangChain

이전 포스트

Rag pipeline을 구성하기 위해 VectorStore를 생성하고 문서를 embedding하여 저장하는 방법까지 다뤄보았다 꽤나 오랜 시간이 지났지만 그동안 고도화 시킨 작업물은 정리해보고자 한다.

🦜️Langchain?

Langchain 은 언어 모델을 활용해 다양한 애플리케이션을 개발할 수 있는 프레임워크를 말한다. 랭체인의 가장 핵심적인 역할은 그 이름에서 알 수 있듯이 언어 모델(Language model)과 외부 도구를 마치 사슬(Chain)처럼 엮어 결합시켜 주는 데에 있다.

LangChain이 중요한 이유

• LLM은 일반적인 상황에서 프롬프트에 응답하는 데 탁월하지만, 훈련한 적이 없는 특정 영역에서 성능이 떨어짐
• 이를 위해서 기계 학습 엔지니어가 LLM을 조직의 내부 데이터 소스와 통합하고 프롬프트 엔지니어링을 적용해야 함
• LangChain은 이러한 데이터 응답 애플리케이션을 개발하기 위한 중간 단계를 간소화하여 프롬프트 엔지니어링의 효율성을 높임

✅

Langchain과 함께라면 나도 AI 개발자?

가장 큰 장점은 바로 AI 개발을 간소화 해주는 것이다. LangChain은 복잡한 데이터 소스 통합과 프롬프트 세분화를 추상화하여 인공 지능(AI) 개발을 간소화하였다

거의 모든 LLM을 랭체인에서 사용할 수 있으며, 표준 인터페이스를 제공하도록 설계되었기에, 접속을 위한 API 키만 있으면 사용하고자 하는 모델이나 vectorstore 부분만 변경해주면 된다 어썸!

LangChain은 벡터 DB와 결합해 LLM 기반 애플리케이션에서 효율적인 검색을 제공한다. 아래는 질문 처리 과정이다:

1. 질문 입력: 사용자가 질문을 입력한다.
2. 임베딩 변환: 질문을 벡터로 변환한다.
3. 관련 데이터 검색: 벡터 DB에서 유사한 데이터를 검색한다.
4. LLM 답변 생성: 검색된 데이터를 바탕으로 LLM이 답변을 생성한다.
5. 답변 제공: 사용자가 답변을 확인한다.

이 과정을 LangChain의 추상화된 인터페이스를 통해 보다 쉽게 구현하여 대규모 데이터에서 적절한 답변을 제공할 수 있다.

reference:
랭체인(LangChain)이란?
10분 만에 랭체인(LangChain) 이해하기
LangChain