[인공지능]LLM 관련 모델 및 라이브러리 & 서비스 정리

라이브러리

1. LangChain : LLM으로 구동되는 애플리케이션을 개발하기 위한 프레임워크
   • 공식 문서
   • 파이썬 예시 코드 및 설명
   • 한글 설명 영상
   • Typescript 예시 코드
2. DeepSpeed : 더 빠른 딥러닝 모델 학습을 위한 모델링 최적화 라이브러리
   • 공식 문서
3. FAISS : 고밀도 벡터의 효율적인 유사성 검색 및 클러스터링을 위한 라이브러리
   • 공식 문서
4. Compress-gpt : LLM Token 최적화
   • 깃헙
   • 소개 블로그

기술

1. Pinecone : Vector DB
   • 공식 홈페이지
2. ElasticVectorSearch : Vector Search Engine
   • 예시 코드

서비스

1. ChatPDF : PDF 문서를 이해하고, 이에 대한 대답을 해주는 서비스
2. ElevenLabs : 음성 데이터를 주면 이를 기반으로 말투를 따라하게 해주는 TTS 생성 서비스

모델

1. LoRA : 학습된 모델파일에 새로운 피사체를 학습 시키는 기법
   • 깃허브
   • 논문
2. HuggingGPT : 여러 인공 지능 모델을 연결하는 모델
   • 논문
   • 데모
3. Polyglot : 상업적으로 사용 가능한 멀티링구얼 모델
   • 깃헙
   • 한국어 모델 12.8B
4. Alpaca : 52K개의 명령에 따른 데모에서 LLaMA 7B 모델의 지도 학습을 사용하여 미세 조정된 언어 모델
   • 논문
   • 깃헙
5. KoAlpaca : Stanford Alpaca 모델을 학습한 방식과 동일한 방식으로 학습을 진행한, 한국어를 이해하는 Alpaca 모델
   • 깃헙
   • 데모
6. Instruct GPT : 인간의 지시에 따른 결과물을 완성해내는 LLM
   • 논문
   • 논문 리뷰
7. ShareGPT : ChaGPT의 대화 내용 공유
8. Vicuna : llama를 사용자 대화로 파인튜닝한 비상업용 목적 LLM
   • 홈페이지
   • 실습 코드
9. GPT4All : 코드, 스토리 및 대화를 포함하여 클린 어시스턴트 데이터의 방대한 컬렉션에 대해 훈련된 오픈 소스 챗봇의 생태계
   • 깃헙
   • 리뷰 블로그