실무에서 RAG 서비스를 개발할 때 RAG 및 LLM 의 성능을 개선하는 것만큼 중요한 점은 서비스에 사용할 문서에서 RAG가 질의에 맞는 내용을 검색하고 검색 결과 데이터를 LLM에 적합한 형태와 크기로 제공하는 것인데요. 다시 말해, 문서 데이터 또는 문서 파일을

RAG(Retrieval-Augmented Generation)에서 retrieve 단계에서 사용하는 multi-query와 fusion 기법은 질의의 정확성을 높이고 더 풍부한 정보를 얻기 위해 사용됩니다. 두 기법은 주로 검색 결과의 질을 높이고, 다양한 정보 조합

Hybrid Search 설명을 위해 다음 포스팅 글 중 일부를 발췌하여 재구성했습니다. [우아한 스터디] RAG 성능을 끌어올리는 Pre-Retrieval (Ensenble Retriever) 와 Post-Retrieval (Re-Rank) 하이브리드 검색 구현하기

[RAG 시리즈] PGVector 와 프롬프트를 이용한 RAG 고도화 포스팅에서 PDF 파일 로드 -> 청킹 -> vector store 에 저장하는 과정을 다루었는데요, 이번 포스팅에서는 vector store DB에 데이터가 어떤 형태로 저장되어 있는지 살펴보고,

기본 튜토리얼 가장 기본적이고 유명한 Teddy Note 튜토리얼을 먼저 실행해 보겠습니다. Code VectorDB 로 ChromaDB 를, retriever 로 기본 retriever 를 사용합니다. 프롬프트 템플릿 또한 기본 템플릿을 이용했습니다. 프롬프트

지난 4월, 운 좋게 데보션 OpenLab 스터디에 2개나 합격했습니다!LLM을 공부하고자 지원한 LLMOps 팀과 OpenLLM 팀에 합격하게 되었고,저 나름대로 최선을 다한 끝에 7월에 스터디를 완주할 수 있었습니다.그리고 이 스터디 결과 발표회인 Tech Day

공식문서GitHubRagas 주요 성능 메트릭을 살펴보면 크게 Retrieval, Generation 각 카테고리 별 측면에서 메트릭을 정의할 수 있습니다.Retrieval 은 정확하고 일관성 있는 답변 생성을 위해 정확성, 정밀성, 관련성 측면에서 좋은 품질의 Con

❗️ 머신러닝 실무자라면 꼭 한번쯤 읽어야 하는 실전 바이블운 좋게 도서 리뷰어에 당첨되었습니다.(인사이트 관계자분들께 감사드립니다 🥰)AI Researcher, 그러니까 머신러닝 엔지니어로서 논문 읽고 모델 가져다 쓰는 등 AI 기술에만 집중해 왔는데주니어로서 현업

🤷‍♂️ 왜 AutoRAG인가?수많은 RAG 파이프라인과 모듈들이 존재하지만, "자신의 데이터"와 "자신의 사용 사례"에 적합한 파이프라인이 무엇인지 알기란 쉽지 않습니다.모든 RAG 모듈을 만들고 평가하는 것은 매우 시간이 많이 걸리고 어렵습니다. 그러나 이렇게 하

🦥Unsloth makes fine-tuning of LLMs 2.2x faster and use 80% less VRAM! 본 튜토리얼 포스팅은 테디노트 튜토리얼 위주로 설명하며, Unsloth 공식 튜토리얼 중 Llama3 와 비교하여 차이점을 주석으로 달았습니

가장 먼저 ollama 홈페이지에 방문하여 ollama 를 설치합니다. https://ollama.com/ Setup ollama 에서 사용할 모델을 pull 합니다. ` Basic Code 다음은 Ollama 공식 블로그에서 제공하는 Ollama 와 OpenAI

RAG 는 'Retrieval-Augmented Generation' 즉 '검색-증강 생성' 의 약자로,검색과 생성의 특성을 모두 갖습니다.가장 간단한 예시로는 PDF 문서 파일을 읽어들인 뒤, LLM에 문서에 대한 질의를 하면 문서 내용을 참고하여 답변하는 챗봇이 있

최근 LLM이 가장 많이 쓰이는 태스크는 단연 '생성' 일 텐데요, LLM과 함께 쓰이는 RAG 가 'Retrieval-Augmented Generation' 즉 '검색-증강 생성' 의 약자임을 보아도 알 수 있습니다. 예전부터 생성 태스크에서 가장 어려운 점은 '평

좌측 메뉴바의 MANAGE - Pods 를 클릭하면 구매 가능한 GPU 목록을 보여줍니다.저는 NVIDIA 의 A100 SXM 을 선택했습니다.gpu 선택파이토치를 이용하여 개발할 것이라면 Pod Template 중 Pytorch 를 선택합니다.pytorch 선택맨 하

LLM 파인튜닝을 위한 라이브러리를 정리합니다. 본 포스팅의 예제 코드는 GitHub 을 참고해 주세요. TRL Huggingface TRL Document HuggingFace 에서 제공하는 모델 튜닝 라이브러리로 TRL(Transformer Reinforceme

운 좋게 올해 여름 시즌 '우아한 스터디' 에 합격했다!나는 '기술 블로거 모여라' 스터디를 함께 하게 되었는데프론트엔드, 백엔드, 데이터분석 등 다양한 백그라운드를 가진 분들과 함께 스터디를 하게 되어다른 직군의 이야기를 듣고 시야를 넓힐 수 있는 기회가 될 것 같고

환경 : Google colab pro+ A100파인튜닝을 하기 위한 기본 LLM 모델 및 데이터셋 설정데이터셋의 상위 200개만 추출너무 많은 데이터셋을 파인튜닝할 경우 CUDA Out of Memory하지만 데이터셋 200개는 너무 적은 것 아닐까? 🤔CUDA 메

Llama3-KO 를 이용해 RAG 를 구현해 보겠습니다.RAG 에 사용할 PDF로 근로기준법을 다운로드하여 사용했습니다.https://www.law.go.kr/법령/근로기준법필요한 라이브러리 임포트Text(PDF) LoaderTextSplitterText V

AutoTrain Advancedhttps://github.com/huggingface/autotrain-advancedPyTorch 업데이트HuggingFace Access Token 설정KorQuAD v1.0 데이터 다운로드(dev)dev 데이터 불러오기K

🦜🔗LangChain? = 검색 + 프롬프트 + 임베딩/저장 + 유사도 검색 + 랭킹 LLM과 외부 도구를 마치 사슬(체인)처럼 엮어 결합시켜 주는 프레임워크 LangChain 모듈 모델 I/O LLM에 전달될 프롬프트 생성 (PromptTemplate)