1. LangChain🔗 - Chat gpt를 더 강력하게

서울대학교 핀테크 과정을 진행하면서 딥러닝 프로젝트를 준비하며 교수님의 권유로 Chatgpt를 사용해보라는 권유를 받았다.
Chatgpt를 어떻게 사용해서 프로젝트를 진행할까 고민하던중에 여러 해외 Youtube, Github 등에서 Langchain이 핫한 분야인걸 알게되어 이번 프로젝트에서 진행한 Langchain의 기능을 리뷰하고 앞으로 계속 공부하고자 한다.

Langchain의 기능을 알고싶은 분은 다음글 부터 보시면 됩니다!

🦜🔗 LangChain 이란?

LangChain은 개발자가 LLM(Large Language Model)을 이용해 엔드투엔드 애플리케이션을 구축할 수 있도록 설계된 강력한 프레임워크입니다. LangChain은 API를 통해 언어 모델을 호출하는 것 뿐만 아니라, 외부 데이터를 인식하거나 타 시스템의 상호 작용하는 어플리케이션을 개발할 수 있도록 합니다.

💡Important Concepts

Langchain에 대해 자세히 알아보기전 이번 포스팅에서는 Langchain과 더불어 알아둬야 할 몇가지 개념에 대해 간략히 정리하도록 하겠습니다.

1. LLM

LLM(Large Language Model)은 대규모 언어 모델로, 방대한 양의 텍스트를 학습하고 요약, 예측, 생성할 수 있습니다.
우리가 자주 사용하는 Chatgpt는 GPT-3.5라는 LLM모델을 기반으로 한 대화형 어플리케이션 이라고 생각하면 될거같습니다.

아래는 GPT를 포함한 현재 핫한대표적인 LLM모델의 간략한 설명입니다.

2. Vector Embedding

LLM의 핵심은 Vector Embedding이라 볼 수 있습니다. Vector Embedding이란 자연어 단어들을 벡터화 한것입니다.(의미가 유사한 텍스트의 Vector Embedding은 거리가 가깝다.)

아래는 Chatgpt가 사용하는 동일한 Vector Embedding의 예시입니다.
참고로 chatgpt의 Vector embedding의 차원은 1536 입니다.

해당 임베딩한 자연어를 벡터파일과 메타데이퍼 파일로 만들면 https://projector.tensorflow.org 사이트를 통해 임베딩한 벡터를 시각화하여 3차원으로 볼 수 있고 유사도 또한 검색해 볼 수 있습니다.

3. Vector Database

Vector Embedding을 수행했다면 해당 벡터를 저장할 장소가 필요하겠죠? 이를 저장하기 위한 저장소를 Vector Database라고 하며 고차원의 데이터를 저장, 검색 및 분석할 수 있는 데이터베이스로, 유사도 검색 등의 작업에 특화되어 있습니다.

현재 유명한 벡터 데이터 베이스로는 Pinecone, chroma, faiss등이 있겠습니다.

4. 한글 토큰과 영어 토큰의 차이

현재 Chatgpt를 사용할 수 있는 방법은 아래와 같이 두가지 입니다.(정확히는 GTP-3.5 turbo model)

Browser나 API에서나 prompt의 길이가 길면 Chatgpt가 작동하지 않고 아마 Chatgpt가 답변을 하다가 끊기는 경우를 보셨을텐데 이는 GPT-3.5 turbo model의 토큰제한 때문입니다.

GPT 3.5 turbo 모델사용시 4096 토큰이 최대이나, 동일한 의미의 문장이여도 한글 토큰의 양이 영어 토큰의 양보다 4~5배 가량 높아 Langchain에서 prompt를 작성할때 특별한 경우를 제외한 대부분을 영어로 진행하는게 좋았습니다.

영어와 한글 토큰의 비교는 https://platform.openai.com/tokenizer 에서 쉽게 테스트 해볼 수 있습니다.

다음 포스팅 부터는 본격적으로 Langchain의 기능을 알아보도록 하겠습니다😎