RDBMS vs VectorDB

백터디비를 공부하다가 그냥 몽고디비에 저장하면 안되나? 하다가 정리하는 글

RDMS의 주요 기능

1. CRUD
2. 트랜젝션
3. sql
4. join
5. 인덱스

• 강점 : 데이터 무결성 및 일관성 보장(ACID), 표준화된 SQL 사용으로 접근성 용이, 정형 데이터 관리에 매우 효과적, 성숙한 기술 및 풍부한 생태계, 복잡한 관계 표현 및 join 연산 지원

• 아쉬운점 : 비정형 데이터처리(텍스트,이미지 등) 어러움, 데이터의 '의미'기반 검색 기능 부족, 수평적 확장 어려움, 유연하지 못한 스키마 변경

VectorDB

• 텍스트, 이미지, 오디오등 비정형 데이터 급증
• AI/ML 모델 발전, 기존 RDBMS로는 의미 기반 검색 한계
• 데이터의 유사성을 기준으로 검색 필요성 증대

핵심개념 : 백터 임배딩(vector embedding)

• 데이터(텍스트, 이미지등)의 의미적 특징을 추출
• 고차원의 숫자배열(백터)로 표현하는 기술
• 유사한 의미/특징을 가진 데이터는 백터 공간에서 가까운 거리에 유지
• ex) word2Vec, Sentence-BERT,CLIP 등
  백터디비는 이 임베딩 벡터를 효율적으로 저장/검색

핵심기능: 주어진 쿼리 백터와 유사한 백터 검색

• 고차원 공간에서의 빠른 유사도 검색 성능 중요. 주로 비정형 데이터의 의미 검색에 사용함..

거리구할때 코사인 또는 유클리드 사용함

백터 검색 라이브러리

FAISS(Facebook Ai Similary Search)

• 고성능 유사도 검색
• 대규모 데이터셋 처리에 최적화
• 밀집백터(Dense Vector)의 효율적인 유사성 검색 및 클러스터링
• 다양한 인덱스 조합 가능
• 주로 인메모리 처리
• 자동저장, 복원 기능 부재

백터디비에서 검색할때 상위 몇개 해서 가져올수 있음

공부하다 보니 결국 Rag까지 나오는데... 이건 다음에 더 알아보도록 하자! ^^

출처
https://www.youtube.com/watch?v=-zLGgaEsBb0