RAG & Vector Database study (using Milvus)

프로젝트에서 RAG 기술을 사용하기 위해 Vector DB를 구축해야 한다. 선정한 DB는 Milvus이며, 오픈 소스에다가 클라우드 서비스까지 지원하며 성능도 좋다고 하기에 사용해보기로 결정했다.

Rag 시스템을 만들기 위한 테스트 과정에서의 기록입니다.Milvus Lite를 이용해 간단하게 데이터베이스를 구축해보고 테이블 생성해본다. 벡터 임베딩과 유사도 검색 기능을 갖춘 오픈 소스 데이터베이스 Milvus의 경량 버전이다.

Rag 시스템을 만들기 위한 테스트 과정에서의 기록입니다. 이전 게시물에서 Milvus Lite를 이용해 간단하게 데이터베이스를 구축하고 컬렉션을 생성했다. 이번에는 생성한 컬렉션에 데이터를 입력해보는 과정을 알아보겠다.

공모전에서 챗봇을 개발하는 부분을 맡아 처음에는 LLM 모델을 파인 튜닝(fine-tuning)을 통해 우리 프로그램 만의 AI를 만들려고 했다. 파인 튜닝은 사전 학습 모델에 새로운 추가 데이터를 학습 시켜 모델을 최적화하는 방법이다.