장점 자연어처리 거의 모든 태스크를 다룸 문장분류, QA, NER, 번역 등등 심지어 인코더, 디코더, 인코더-디코더 모델별로 각각! 최신 기술 but 현업에서 반드시 필요한 경량화도 쉬운 설명 + 코드 제시 실무에 즉시 활용 가능 (꼭 필요한 코드만 간추려서

보험사, 금융사, 사내 메뉴얼 등 문서를 참조하는 챗봇에서 RAG가 사용되는 경우가 많은데요,다시 말해, 좋은 챗봇을 구축하는 일 또한 RAG개발에 수반되는 업무입니다.이번 포스팅에서는 Rule Base 로 챗봇을 구축한 경험을 공유하고,최근 AI Agent 개발에 쓰

프롬프트 엔지니어링의 비밀 : 10가지 사례로 쉽게 터득! LLM과 챗GPT에게 원하는 결과를 얻는 비법!요즘에는 LLM API(ex : ChatGPT) 를 사다가 웹 개발물에 붙여서 서비스를 만드는 경우가 정말 많다.이 책을 읽게 된 동기는 최근 모 번역 스타트업 면

지난 포스팅에서 다음과 같은 고찰을 했는데요, 따라서 이번 포스팅에서는 embedding 모델별 RAG 품질을 비교합니다. 또한 유료로 사용하는 OpenAI 모델뿐만 아니라 무료(속도는 느리지만) HuggingFace 모델도 함께 비교합니다. 튜토리얼 코드 : Gi

RAGAS 는 RAG 의 평가지표 중 특히 Rule Base 지표들을 자동으로 계산하기 위해 만들어진 프레임워크입니다.쉽게 말해 RAG 파이프라인을 구축한 후,파이프라인의 input / output 을 이용해 평가 지표 계산에 필요한 데이터셋 (question, ans

2024년에는 LLM 에 입문했고, 새로운 프로젝트들을 해 보았고, 운 좋게 대기업에서 지원하는 스터디에 3개나 합격해서 완주했고, 글또 활동하는 동안 패스 한 번 쓴 적 없이, 지연 한 번 없이 글을 제출하고 있고 회고에 쓸 거리가 생각보다 많을 만큼 돌이켜 보니 많

실무에서 RAG 서비스를 개발할 때 RAG 및 LLM 의 성능을 개선하는 것만큼 중요한 점은 서비스에 사용할 문서에서 RAG가 질의에 맞는 내용을 검색하고 검색 결과 데이터를 LLM에 적합한 형태와 크기로 제공하는 것인데요. 다시 말해, 문서 데이터 또는 문서 파일을

RAG(Retrieval-Augmented Generation)에서 retrieve 단계에서 사용하는 multi-query와 fusion 기법은 질의의 정확성을 높이고 더 풍부한 정보를 얻기 위해 사용됩니다. 두 기법은 주로 검색 결과의 질을 높이고, 다양한 정보 조합

Hybrid Search 설명을 위해 다음 포스팅 글 중 일부를 발췌하여 재구성했습니다. [우아한 스터디] RAG 성능을 끌어올리는 Pre-Retrieval (Ensenble Retriever) 와 Post-Retrieval (Re-Rank) 하이브리드 검색 구현하기

[RAG 시리즈] PGVector 와 프롬프트를 이용한 RAG 고도화 포스팅에서 PDF 파일 로드 -> 청킹 -> vector store 에 저장하는 과정을 다루었는데요, 이번 포스팅에서는 vector store DB에 데이터가 어떤 형태로 저장되어 있는지 살펴보고,

기본 튜토리얼 가장 기본적이고 유명한 Teddy Note 튜토리얼을 먼저 실행해 보겠습니다. Code VectorDB 로 ChromaDB 를, retriever 로 기본 retriever 를 사용합니다. 프롬프트 템플릿 또한 기본 템플릿을 이용했습니다. 프롬프트

지난 4월, 운 좋게 데보션 OpenLab 스터디에 2개나 합격했습니다!LLM을 공부하고자 지원한 LLMOps 팀과 OpenLLM 팀에 합격하게 되었고,저 나름대로 최선을 다한 끝에 7월에 스터디를 완주할 수 있었습니다.그리고 이 스터디 결과 발표회인 Tech Day

공식문서GitHubRagas 주요 성능 메트릭을 살펴보면 크게 Retrieval, Generation 각 카테고리 별 측면에서 메트릭을 정의할 수 있습니다.Retrieval 은 정확하고 일관성 있는 답변 생성을 위해 정확성, 정밀성, 관련성 측면에서 좋은 품질의 Con

❗️ 머신러닝 실무자라면 꼭 한번쯤 읽어야 하는 실전 바이블운 좋게 도서 리뷰어에 당첨되었습니다.(인사이트 관계자분들께 감사드립니다 🥰)AI Researcher, 그러니까 머신러닝 엔지니어로서 논문 읽고 모델 가져다 쓰는 등 AI 기술에만 집중해 왔는데주니어로서 현업

🤷‍♂️ 왜 AutoRAG인가?수많은 RAG 파이프라인과 모듈들이 존재하지만, "자신의 데이터"와 "자신의 사용 사례"에 적합한 파이프라인이 무엇인지 알기란 쉽지 않습니다.모든 RAG 모듈을 만들고 평가하는 것은 매우 시간이 많이 걸리고 어렵습니다. 그러나 이렇게 하

🦥Unsloth makes fine-tuning of LLMs 2.2x faster and use 80% less VRAM! 본 튜토리얼 포스팅은 테디노트 튜토리얼 위주로 설명하며, Unsloth 공식 튜토리얼 중 Llama3 와 비교하여 차이점을 주석으로 달았습니

가장 먼저 ollama 홈페이지에 방문하여 ollama 를 설치합니다. https://ollama.com/ Setup ollama 에서 사용할 모델을 pull 합니다. ` Basic Code 다음은 Ollama 공식 블로그에서 제공하는 Ollama 와 OpenAI

RAG 는 'Retrieval-Augmented Generation' 즉 '검색-증강 생성' 의 약자로,검색과 생성의 특성을 모두 갖습니다.가장 간단한 예시로는 PDF 문서 파일을 읽어들인 뒤, LLM에 문서에 대한 질의를 하면 문서 내용을 참고하여 답변하는 챗봇이 있

최근 LLM이 가장 많이 쓰이는 태스크는 단연 '생성' 일 텐데요, LLM과 함께 쓰이는 RAG 가 'Retrieval-Augmented Generation' 즉 '검색-증강 생성' 의 약자임을 보아도 알 수 있습니다. 예전부터 생성 태스크에서 가장 어려운 점은 '평

좌측 메뉴바의 MANAGE - Pods 를 클릭하면 구매 가능한 GPU 목록을 보여줍니다.저는 NVIDIA 의 A100 SXM 을 선택했습니다.gpu 선택파이토치를 이용하여 개발할 것이라면 Pod Template 중 Pytorch 를 선택합니다.pytorch 선택맨 하