Vector DB 미래 기술 발전 방향

AI·빅데이터 시대에 벡터 DB는 단순 유사도 검색을 넘어서 저장·검색·추론·보안·운영을 통합하는 핵심 인프라로 부상하고 있습니다. 특히 기존 RDBMS 벤더의 시장 진출 가능성과 AI 기능의 네이티브 통합, 멀티모달 지원, 분산 아키텍처, 실시간 인제스트, 표준화·상

2025년 5월 9일
·
0개의 댓글
·

Vector DB 미래 기술 발전 방향

AI·빅데이터 시대에 벡터 DB는 단순 유사도 검색을 넘어서 저장·검색·추론·보안·운영을 통합하는 핵심 인프라로 부상하고 있습니다. 특히 기존 RDBMS 벤더의 시장 진출 가능성과 AI 기능의 네이티브 통합, 멀티모달 지원, 분산 아키텍처, 실시간 인제스트, 표준화·상

2025년 5월 9일
·
0개의 댓글
·
post-thumbnail

MariaDB를 활용한 VectorDB 하이브리드 검색

.env 에 정의해 둔 DB 접속 정보를 읽어서 파이썬 변수(HOST, PORT, USER, PASSWORD, DB_NAME)로 할당테이블을 만들고 데이터(문장)을 삽입결과 : ✅ test_db.documents 테이블에 10개 레코드 삽입 완료✅ documents 테

2025년 5월 9일
·
1개의 댓글
·
post-thumbnail

벡터 DB (11) - AI와 머신러닝에서의 활용

벡터가 왜 필요할까?1\. 기존 추천 시스템의 한계명시적 행동 기반 추천 (예: A를 샀으니 B 추천)유저의 구매 이력 + 제품 속성 조합으로 추천 → 의미 기반 유사성 파악에 어려움 존재 벡터 기반 추천 시스템작동 방식사용자 행동 데이터 수집 (클릭, 시청, 좋아

2025년 5월 9일
·
0개의 댓글
·
post-thumbnail

벡터 DB (10) - 벡터 DB 쿼리 처리

단순 키워드 검색이 아닌 텍스트, 이미지, 오디오 등의 의미 기반 유사성 검색병렬처리 개요이런 연산을 하나하나 직렬로 처리하면 느려서 병렬처리 필요병렬 처리 방식예시사용자가 query_vector 하나로 1,000만 개 벡터와 유사도 비교 요청 시직렬 처리: 1 CPU

2025년 5월 9일
·
0개의 댓글
·
post-thumbnail

벡터 DB (9) - 벡터 DB 검색

벡터 DB는 텍스트, 이미지, 음성 등을 벡터(숫자 배열)로 변환한 뒤, 비슷한 벡터끼리 검색하므로 검색 요청 시 4단계를 거쳐 결과를 출력검색어나 질문을 벡터로 변환하는 단계사용자가 입력한 텍스트(예: "붉은 드레스")를 벡터로 변환NLP 또는 멀티모달 AI 모델(B

2025년 5월 9일
·
1개의 댓글
·
post-thumbnail

벡터 DB (8) - 원천 테이터 청킹 전략

Vector화 할 대상이 되는 데이터청크로 구분된 데이터는 임베딩 처리를 통해 고정된 크기의 Vector 값으로 변환청크 크기와 응답시간 간의 관계는 정보 검색 및 자연어 처리 시스템의 전체적인 성능에 매우 중요한 영향을 미침청크 크기를 적절하게 설정하는 것이 시스템의

2025년 5월 9일
·
0개의 댓글
·
post-thumbnail

벡터 DB (7) - 벡터 DB 스키마 설계

벡터 DB 스키마 설계는 벡터 임베딩을 효율적으로 저장하고 검색하는 구조를 계획하는 과정 데이터 특성과 Application의 요구사항을 고려하여 수행1\. 데이터 구조 계획데이터 유형 결정벡터 임베딩의 출처(이미지, 텍스트, 지리 좌표 등)에 따라 저장할 데이터 유형

2025년 5월 9일
·
0개의 댓글
·
post-thumbnail

Word2Vec & 벡터 DB - 나무위키 학습

주어진 단어들을 바탕으로 Word2Vec 모델을 학습시켰다.임베딩된 단어들을 시각화하였을 때 다음 이미지처럼 나왔는데, 학습 데이터가 굉장히 적어 적절한 임베딩이 되지 않았다고 생각하였다.FAISS 대신 ANNOY를 사용하여 진행해보았고, '사과'와 유사한 단어:사과일

2025년 5월 8일
·
0개의 댓글
·
post-thumbnail

벡터 DB (6) - 근사 최근접 이웃 (ANN) 검색

ANN이란 질문 벡터(Query 벡터)에 대해 가장 비슷한 데티어(Nearest Neighbor)를 찾는 작업정확도는 조금 낮아져도, 속도를 크게 높이는 것이 목표!!VDB 검색 알고리즘■ VDB고차원 벡터 데이터를 저장벡터 간의 유사성 검색을 효율적으로 수행하는 시스

2025년 5월 8일
·
0개의 댓글
·
post-thumbnail

벡터 DB (5) - 유사도 측정

두 데이터 간의 유사성을 평가하는 방법머신러닝, 정보 검색, 자연어 처리 등 다양한 분야에서 활용데이터 간의 관계를 수치화할 때 유용두 벡터 사이의 각도를 기준으로 유사도를 측정하는 방식.→ 두 벡터가 이루는 각도가 작을수록(즉, 방향이 비슷할수록) 유사도가 높음.수식

2025년 5월 8일
·
0개의 댓글
·
post-thumbnail

벡터 DB (4) - 벡터 Indexing

데이터베이스에 벡터 데이터를 구조화된 인덱스에 담는 행위추후 검색 성능을 고려하여 KNN이 아닌 ANN(Approximate Nearest Neighbor) 가능한 구조로 설계목표: 검색 정확도 ↔ 검색 속도 간의 tradeoff 관계 최적화Quantinized(양자화

2025년 5월 8일
·
0개의 댓글
·
post-thumbnail

질문 기반 유사 문서 검색 서비스

벡터DB화와 유사도를 측정하기 위한 실습이므로, 'all-MiniLM-L6-v2' 모델을 사용함.ChromaDB의 클라이언트 객체를 생성하여, ChromaDB와 상호작용함.ChromaDB가 내부적으로 문서나 쿼리를 벡터로 바꿀 때 사용할 임베딩 생성기를 지정 Chrom

2025년 5월 7일
·
0개의 댓글
·
post-thumbnail

Huggingface를 활용한 텍스트 벡터화

해당 텍스트들을 어떠한 용도로 사용할지 모르기 때문에, 범용성을 가지는 일반 Bert를 활용문장 리스트로 구성된 입력 데이터padding=True: 문장 길이를 맞춤truncation=True: 최대 길이 초과 시 자름return_tensors="pt": PyTorch

2025년 5월 7일
·
0개의 댓글
·
post-thumbnail

벡터 DB (3) - 벡터 Embedding 기초

"고차원 벡터 데이터를 효율적으로 저장, 관리, 검색하기 위해 설계된 데이터베이스"텍스트, 이미지, 오디오 등의 데이터를 임베딩(벡터화)하여 저장하고, 관리하며, 검색 기능을 제공하는 임베딩 벡터 전용 DB고차원(벡터 차원 수)의 공간(인덱스)에 임베디드 벡터를 인덱싱

2025년 5월 7일
·
0개의 댓글
·
post-thumbnail

벡터 DB (2) - 개요

생성형 AI가 발전하면서 환각 없는 생성형 콘텐츠의 중요성이 확대됐고, 환각을 최소화하는 방안으로 RAG가 각광받고 있습니다.또한, RAG를 위해서는 벡터 DB가 반드시 필요합니다.전통적인 데이터베이스는 ‘정확한 값을 찾는 데 강함’벡터 데이터베이스는 ‘비슷한 것을 찾

2025년 5월 7일
·
0개의 댓글
·
post-thumbnail

벡터 DB (1) - 개발 환경 설정

Python 버전 확인 명령어Python 다운로드 링크https://www.python.org/downloads/release/python-31010/설치 시 주의 사항설치 시 "Add Python to PATH" 옵션 체크 필수설치 완료 후 확인 방법VSCo

2025년 5월 7일
·
0개의 댓글
·
post-thumbnail

데이터분석 mini project (2) 신약 독성 예측

들어가기에 앞서 SMILE 화학식 코드에 대해서 유용한 라이브러리를 알개되었다 RDKit이라는 라이브러리로, SMILES ↔ 분자 객체(Mol) 변환이 가능하며, 다양한 분자 지문(fingerprint), 분자 지표(descriptor) 계산을 할 수 있다.smiles

2025년 5월 2일
·
1개의 댓글
·
post-thumbnail

데이터분석 mini project (1) EDA

해당 미니 프로젝트는 실제로 sk 내에서 진행했던 경진대회? 느낌의 프로젝트이다.위의 표와 같이 데이터는 총 3078개의 Column으로 이루어져 있었고, 데이터의 총 수는 약 8300개 가량이었다. 데이터의 수가 매우 적으며, 차원의 수가 매우 많은 데이터의 특성을

2025년 5월 2일
·
0개의 댓글
·
post-thumbnail

쿠버네티스 심화

목표: 자신의 애플리케이션 프로그램을 Kubernetes 환경에 배포해서 운영 가능하도록 구성경로를 변환원격에 있는 파일을 local로 copy만약 workspace의 user가 root인 경우해당 코드로 user를 변경쿠버네티스 API server에 접속하는 주체(

2025년 4월 23일
·
0개의 댓글
·