LLM
1.[LLM] AI alignment? Alignment?
LLM 관련한 paper와 여러 게시물을 보는데 "alignment" 라는 단어가 심심찮게 등장한다.Alignment를 번역기에서는 '정렬', 조정', 정돈'으로 나오는데 도대체... 무슨 말..?특히 이번에 RLHF 관련된 정보를 찾다가 OpenAI의 "alignme
2.[LLM] Langchain Introduction (Langchain 시작하기) - Prompt Template, LLM
뭔가를 기록할 때 완전하게 structure를 짜고 순서대로 작성하면 좋을텐데 현재는 큰 틀을 잡아가기에는 모르는게 너무나도 많고 쫌쫌따리 알아가고 있으니까 현재는 공부하고 있는 걸 정리하고, 추후에 한번에 정리해야겠다고 생각했다대형 언어 모델(LLM)은 2020년 O
3.[LLM] Langchain - Prompt engineering
langchain을 활용해서 openai 라이브러리로 prompt engineering을 간단히 수행해본다.프롬프트는 여러 구성요소로 구성 될 수 있는데 크게 4가지로 보자면(1) Instructions (지침)(2) External information (외부정보)
4.[LLM] Langchain - Chain
체인은 기본 체인일 수도 있고 다른 체인일 수도 있는 링크로 된다.체인의 기본 요소는 프롬프트, llms, utils 또는 기타 체인이다. 체인은 기본적으로 특정 원시 조합을 사용하여 입력을 처리하는 파이프라인이다.입력에 대해 특정 작업 집합을 수행하고 결과를 반환하는
5.[LLM] openai 에러 완화 시키기, 안정성 확보 방법(무응답시 재요청): Error Mitigation/ Using the Tenacity library/ Using the backoff library/Manual backoff implementation
LLM으로 gpt를 사용시 가끔 응답이 없는 문제가 발생해 timeout이 날 수 있다.이러한 timeout error에 대한 안정성을 확보하는 방법으로 OpenAI 공식문서에서는 backoff, tenacity를 사용해서 구현하는 방법을 제시하고 있다.OpenAI 공
6.[LLM] LangChain Chat with Your Data
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다. Instruction LangChain을 사용해서 ChatGPT와 같은 대규모 언어 모델(LLM)을 사용해서 다양한 주제에
7.[LLM] LangChain Chat with Your Data - (2) Data Splitting
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.01에서 문서를 표준 형식으로 로드하는 방법을 알았다면, 로드해온 문서를 이제 더 작은 덩어리(chunk)로 나눈다.바로 Data(
8.[LLM] LangChain Chat with Your Data - (3) vectorstores_and_embeddings
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.필요한 문서를 로드하고, 작고 의미상 의미 있는 청크로 분할했다. 이제 이러한 청크를 인덱스에 넣어서 이 데이터 모음에 대한 질문에
9.[LLM] LangChain Chat with Your Data - (4) Retrieval
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.Retrieval은 검색 증강 생성(RAG) 흐름의 핵심이다.저번 게시물에서 의미론적 검색의 기본 사항을 다루었고 많은 사용 사례에
10.[LLM] LangChain Chat with Your Data - (5) Question Answering
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.주어진 질문과 관련된 문서를 검색하는 방법에 대해 살펴봤으니, 다음으로는 해당 문서를 가져와 원래 질문을 가져와서 언어 모델에 전달
11.[LLM] LangChain Chat with Your Data - (6) Chat
해당 게시물은 DeepLearningAI의 LangChain Chat with Your Data 강의를 듣고 개인적으로 정리한 내용입니다.나의 데이터를 가지고 챗봇을 만들기 위해서 문서 로드부터 시작하여 분할한 다음 벡터 저장소를 만들고 다양한 검색 유형에 대해 핸들링
12.[LLM] LLM 모델 output 강제화하기 (prompt에서StructuredOutputParser 사용과 model의 with_structured_output 함수 비교)
나는 openAI의 사용화된 gpt 모델과 meta의 오픈소스 llama 를 가지고 AI agent를 만드는 팀에서 일을 하고 있다.그 중 LLM의 output을 json 형태나 아니면 원하는 스키마 형태로 반환하기 위해서 chain을 만들어 LLM의 생성된 outpu
13.[LLM] ORPO (Odds Ratio Preference Optimization) : LLM의 fine-tuning & Reward modeling
LLM 관련 리서치를 하던 중에,특정 도메인을 위한 LLM의 fine-tuning 학습 기법인 ORPO를 알게되었고, fine-tunig 관련 공부가 부족했던 지라 일단 발견한 개념부터 정리해보고자 한다.강화학습 및 최적화 분야에 사용되는 방법으로, 특히 LLM(대형
14.LLM logit
ORPO을 공부하면서 logit 조절이 나오는데, 이러한 logit을 제대로 파악하지 못하고 있는 것 같아logit에 대해서 좀 더 정리를 해본다.LLM에서 logit 은 모델이 각 단어(token)에 대해 예측한 확률을 계산하기 전의 출력값(로짓값)을 의미한다. 로짓
15.[LLM] Corrective RAG(CRAG) - Corrective Retrieval Augmented Generation
Corrective RAG > github : https://github.com/langchain-ai/langgraph/blob/main/examples/rag/langgraph_crag.ipynb?ref=blog.langchain.dev > paper : ht
16.[LLM] Self-Reflective RAG with LangGraph
Self-Reflective RAG with LangGraph > reference : https://blog.langchain.dev/agentic-rag-with-langgraph/ Motivation 대부분의 대형 언어 모델(LLM)은 주기적으로 공개 데이터
17.[LLM] Adaptive RAG
LangGraph Docs: https://langchain-ai.github.io/langgraph/tutorials/rag/langgraphadaptiverag/ Adaptive RAG Adaptive RAG는 (1)query analysis(쿼리 분석) 과 (
18.[LLM] LangChain : trim_mesages (chat model 채팅 기록, 메시지 히스토리 다듬기)
trim_messages LLM(Chat Model)은 입력 토큰 수에 제한이 있다. 대화가 길어질수록 이 제한을 초과할 수 있기 때문에, 이전 메시지 일부를 잘라내어(chat history trimming) 입력 크기를 조절해야 한다.이를 위해서 trim_messag
19.[LLM] LLM fine-tuning - LLaMa Factory
sLLM을 특정 도메인에 맞게 fine-tuning 하기 위해서 알아보던 중에 LLaMa Factory를 알게 됐다.https://llamafactory.readthedocs.io/en/latest/대형 언어 모델(LLM) 을 학습 및 파인튜닝하기 위한 플랫폼