LLM
1.[LLM] AI alignment? Alignment?
LLM 관련한 paper와 여러 게시물을 보는데 "alignment" 라는 단어가 심심찮게 등장한다.Alignment를 번역기에서는 '정렬', 조정', 정돈'으로 나오는데 도대체... 무슨 말..?특히 이번에 RLHF 관련된 정보를 찾다가 OpenAI의 "alignme
2.[LLM] Langchain Introduction (Langchain 시작하기) - Prompt Template, LLM
뭔가를 기록할 때 완전하게 structure를 짜고 순서대로 작성하면 좋을텐데 현재는 큰 틀을 잡아가기에는 모르는게 너무나도 많고 쫌쫌따리 알아가고 있으니까 현재는 공부하고 있는 걸 정리하고, 추후에 한번에 정리해야겠다고 생각했다대형 언어 모델(LLM)은 2020년 O
3.[LLM] Langchain - Prompt engineering
langchain을 활용해서 openai 라이브러리로 prompt engineering을 간단히 수행해본다.프롬프트는 여러 구성요소로 구성 될 수 있는데 크게 4가지로 보자면(1) Instructions (지침)(2) External information (외부정보)
4.[LLM] Langchain - Chain
체인은 기본 체인일 수도 있고 다른 체인일 수도 있는 링크로 된다.체인의 기본 요소는 프롬프트, llms, utils 또는 기타 체인이다. 체인은 기본적으로 특정 원시 조합을 사용하여 입력을 처리하는 파이프라인이다.입력에 대해 특정 작업 집합을 수행하고 결과를 반환하는
5.[LLM] openai 에러 완화 시키기, 안정성 확보 방법(무응답시 재요청): Error Mitigation/ Using the Tenacity library/ Using the backoff library/Manual backoff implementation
LLM으로 gpt를 사용시 가끔 응답이 없는 문제가 발생해 timeout이 날 수 있다.이러한 timeout error에 대한 안정성을 확보하는 방법으로 OpenAI 공식문서에서는 backoff, tenacity를 사용해서 구현하는 방법을 제시하고 있다.OpenAI 공
6.[LLM] LangChain Chat with Your Data
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다. Instruction LangChain을 사용해서 ChatGPT와 같은 대규모 언어 모델(LLM)을 사용해서 다양한 주제에
7.[LLM] LangChain Chat with Your Data - (2) Data Splitting
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.01에서 문서를 표준 형식으로 로드하는 방법을 알았다면, 로드해온 문서를 이제 더 작은 덩어리(chunk)로 나눈다.바로 Data(
8.[LLM] LangChain Chat with Your Data - (3) vectorstores_and_embeddings
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.필요한 문서를 로드하고, 작고 의미상 의미 있는 청크로 분할했다. 이제 이러한 청크를 인덱스에 넣어서 이 데이터 모음에 대한 질문에
9.[LLM] LangChain Chat with Your Data - (4) Retrieval
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.Retrieval은 검색 증강 생성(RAG) 흐름의 핵심이다.저번 게시물에서 의미론적 검색의 기본 사항을 다루었고 많은 사용 사례에
10.[LLM] LangChain Chat with Your Data - (5) Question Answering
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.주어진 질문과 관련된 문서를 검색하는 방법에 대해 살펴봤으니, 다음으로는 해당 문서를 가져와 원래 질문을 가져와서 언어 모델에 전달
11.[LLM] LangChain Chat with Your Data - (6) Chat
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.나의 데이터를 가지고 챗봇을 만들기 위해서 문서 로드부터 시작하여 분할한 다음 벡터 저장소를 만들고 다양한 검색 유형에 대해 핸들링
12.[LLM] Searching for Best Practices in Retrieval-Augmented Generation (대규모 언어 모델을 위한 검색-증강 생성(RAG) 기술 현황 관련 논문) 정리
RAG(검색-증강 생성)을 활용해서 서비스를 만들고 있는 와중에 여러 이슈에 봉착하고는 한다. 일단 나는 vectordb에 정제된 데이터들을 넣고 RAG를 활용해서 최대한 도메인 집약적이고, 할루시네이션을 줄이는 가장 간단한 방법을 사용하고 있다.LLM이 최전선에서 여