[Langchain] Vectorstore (1) Chroma

📌 벡터 저장소 (Vector Store)

• 개념:

  • 벡터화된 데이터를 효율적으로 저장하고 검색하기 위한 특수 데이터베이스 시스템
  • 텍스트나 이미지 등의 비정형 데이터를 고차원 벡터 공간에 매핑하여 저장
  • 유사도 기반 검색을 통해 의미적으로 가까운 데이터를 빠르게 검색 가능

• LangChain의 벡터 저장소 종류:

  • Chroma: 경량화된 임베딩 데이터베이스로 로컬 개발에 적합
  • FAISS: Facebook AI가 개발한 고성능 유사도 검색 라이브러리
  • Pinecone: 완전 관리형 벡터 데이터베이스 서비스
  • Milvus: 분산 벡터 데이터베이스로 대규모 데이터 처리에 적합
  • PostgreSQL: pgvector 확장을 통해 벡터 저장 및 검색 기능을 제공

• 주요 기능:

  • 벡터 색인화: 효율적인 검색을 위한 데이터 구조화를 수행
  • 근접 이웃 검색: 주어진 쿼리와 가장 유사한 벡터들을 검색
  • 메타데이터 관리: 벡터와 관련된 부가 정보를 함께 저장하고 검색

• 사용 사례:

  • 시맨틱 문서 검색: 문서의 의미를 이해하여 검색
  • 추천 시스템: 유사한 아이템을 추천
  • 중복 데이터 감지: 유사한 콘텐츠를 검색
  • 질의응답 시스템: 관련 문서에서 답변을 생성하는데 필요한 근거를 검색

---

1️⃣ Chroma

• 사용자 편의성이 우수한 오픈소스 벡터 저장소
• 설치: pip install langchain-chroma / poetry add langchain-chroma

1. 벡터 저장소 초기화

# 벡터 저장소에 문서를 저장할 때 적용할 임베딩 모델
from langchain_huggingface.embeddings import HuggingFaceEmbeddings

embeddings_model = HuggingFaceEmbeddings(model_name="BAAI/bge-m3")

# 벡터 저장소 생성
from langchain_chroma import Chroma

chroma_db = Chroma(
    collection_name="ai_sample_collection", # 벡터저장소 이름
    embedding_function=embeddings_model,	# 사용할 임베딩 모델
    persist_directory="./chroma_db",		# 저장 경로
)

• 실행 후에 chroma_db 라는 폴더가 생성되면서 uuid 문자열로 저장소가 생성된 것을 확인할 수 있다.

---

벡터 저장소에 저장된 데이터 확인

# 현재 저장된 컬렉션 데이터 확인
chroma_db.get()

- 출력

{'ids': [],
 'embeddings': None,
 'documents': [],
 'uris': None,
 'data': None,
 'metadatas': [],
 'included': [<IncludeEnum.documents: 'documents'>,
  <IncludeEnum.metadatas: 'metadatas'>]}

---

2. 벡터 저장소 관리

• 문서 추가 : vector_store.add_documents(documents, ids)

from langchain_core.documents import Document

# 문서 데이터 - (텍스트, 소스)
documents = [
    ("인공지능은 컴퓨터 과학의 한 분야입니다.", "AI 개론"),
    ("머신러닝은 인공지능의 하위 분야입니다.", "AI 개론"),
    ("딥러닝은 머신러닝의 한 종류입니다.", "딥러닝 입문"),
    ("자연어 처리는 컴퓨터가 인간의 언어를 이해하고 생성하는 기술입니다.", "AI 개론"),
    ("컴퓨터 비전은 컴퓨터가 디지털 이미지나 비디오를 이해하는 방법을 연구합니다.", "딥러닝 입문")
]

# Document 객체 생성
doc_objects = []
for content, source in documents:
    doc = Document(
        page_content=content,
        metadata={"source": source},
    )
    doc_objects.append(doc)


# 순차적 ID 리스트 생성
doc_ids = [f"DOC_{i}" for i in range(1, len(doc_objects) + 1)]

# 문서를 벡터 저장소에 저장
added_doc_ids = chroma_db.add_documents(documents=doc_objects, ids=doc_ids)

# 벡터 저장소에 저장된 문서를 확인
print(f"{len(added_doc_ids)}개의 문서가 성공적으로 벡터 저장소에 추가되었습니다.")
print(added_doc_ids)

- 출력

5개의 문서가 성공적으로 벡터 저장소에 추가되었습니다.
['DOC_1', 'DOC_2', 'DOC_3', 'DOC_4', 'DOC_5']

---

저장된 문서 검색

# 저장된 문서 검색
query = "인공지능과 머신러닝의 관계는?"
results = chroma_db.similarity_search(query, k=2)

print(f"\n쿼리: {query}")
print("가장 유사한 문서:")
for doc in results:
    print(f"- {doc.page_content} [출처: {doc.metadata['source']}]")

- 출력

쿼리: 인공지능과 머신러닝의 관계는?
가장 유사한 문서:
- 머신러닝은 인공지능의 하위 분야입니다. [출처: AI 개론]
- 딥러닝은 머신러닝의 한 종류입니다. [출처: 딥러닝 입문]

---

문서 추가 후 저장된 데이터 확인

# 현재 저장된 컬렉션 데이터 확인
chroma_db.get()

- 출력

{'ids': ['DOC_1', 'DOC_2', 'DOC_3', 'DOC_4', 'DOC_5'],
 'embeddings': None,
 'documents': ['인공지능은 컴퓨터 과학의 한 분야입니다.',
  '머신러닝은 인공지능의 하위 분야입니다.',
  '딥러닝은 머신러닝의 한 종류입니다.',
  '자연어 처리는 컴퓨터가 인간의 언어를 이해하고 생성하는 기술입니다.',
  '컴퓨터 비전은 컴퓨터가 디지털 이미지나 비디오를 이해하는 방법을 연구합니다.'],
 'uris': None,
 'data': None,
 'metadatas': [{'source': 'AI 개론'},
  {'source': 'AI 개론'},
  {'source': '딥러닝 입문'},
  {'source': 'AI 개론'},
  {'source': '딥러닝 입문'}],
 'included': [<IncludeEnum.documents: 'documents'>,
  <IncludeEnum.metadatas: 'metadatas'>]}

---

• 문서 수정: vector_store.update_document(document_id, document)

# 업데이트할 문서 생성
updated_document_1 = Document(
    page_content="인공지능은 컴퓨터 과학의 핵심 분야 중 하나로, 기계학습과 딥러닝을 포함합니다.",
    metadata={"source": "AI 개론"},
)

updated_document_2 = Document(
    page_content="머신러닝은 데이터로부터 학습하여 예측과 결정을 내리는 인공지능의 하위 분야입니다.",
    metadata={"source": "AI 개론"},
)

updated_document_3 = Document(
    page_content="딥러닝은 머신러닝의 한 종류로, 심층 신경망을 사용하여 학습합니다.",
    metadata={"source": "딥러닝 입문"},
)


# 단일 문서 업데이트
chroma_db.update_document(document_id="DOC_1", document=updated_document_1)

# 여러 문서 한 번에 업데이트
chroma_db.update_documents(
    ids=["DOC_2", "DOC_3"],
    documents=[updated_document_2, updated_document_3]
)

---

• 문서 삭제: vectorstore.delete(ids)

# 문서 id를 지정하여 삭제
chroma_db.delete(ids=["DOC_5"])

# 컬렉션 확인
chroma_db.get()

- 출력

{'ids': ['DOC_1', 'DOC_2', 'DOC_3', 'DOC_4'],
 'embeddings': None,
 'documents': ['인공지능은 컴퓨터 과학의 핵심 분야 중 하나로, 기계학습과 딥러닝을 포함합니다.',
  '머신러닝은 데이터로부터 학습하여 예측과 결정을 내리는 인공지능의 하위 분야입니다.',
  '딥러닝은 머신러닝의 한 종류로, 심층 신경망을 사용하여 학습합니다.',
  '자연어 처리는 컴퓨터가 인간의 언어를 이해하고 생성하는 기술입니다.'],
 'uris': None,
 'data': None,
 'metadatas': [{'source': 'AI 개론'},
  {'source': 'AI 개론'},
  {'source': '딥러닝 입문'},
  {'source': 'AI 개론'}],
 'included': [<IncludeEnum.documents: 'documents'>,
  <IncludeEnum.metadatas: 'metadatas'>]}

---

3. 문서 검색

• 유사도 검색 similarity_search
  • 주어진 쿼리와 가장 유사한 문서를 반환
  • k=2는 상위 2개의 결과를 반환하도록 지정
  • filter를 사용하여 특정 출처의 문서만 검색 가능

query = "인공지능과 머신러닝의 차이점은 무엇인가요?"
results = chroma_db.similarity_search(
    query,
    k=2,
    filter={"source": "AI 개론"}
)

print("유사도 검색 결과:")
for doc in results:
    print(f"- {doc.page_content} [출처: {doc.metadata['source']}]")

- 출력

유사도 검색 결과:
- 머신러닝은 데이터로부터 학습하여 예측과 결정을 내리는 인공지능의 하위 분야입니다. [출처: AI 개론]
- 인공지능은 컴퓨터 과학의 핵심 분야 중 하나로, 기계학습과 딥러닝을 포함합니다. [출처: AI 개론]

---

• 유사도 점수가 포함된 검색 similarity_search_with_score
  • 유사도 점수를 함께 반환
  • 점수가 낮을수록 더 유사한 것을 의미 (거리 기준으로 점수가 산정되기 때문)

query = "딥러닝은 어떤 분야에서 사용되나요?"
results = chroma_db.similarity_search_with_score(
    query,
    k=2,
    filter={"source": "AI 개론"}
)

print("점수가 포함된 유사도 검색 결과:\n")
for doc, score in results:
    print(f"- 점수: {score:.4f}")
    print(f"  내용: {doc.page_content}")
    print(f"  [출처: {doc.metadata['source']}]")
    print()

- 출력

점수가 포함된 유사도 검색 결과:

- 점수: 0.7292
  내용: 인공지능은 컴퓨터 과학의 핵심 분야 중 하나로, 기계학습과 딥러닝을 포함합니다.
  [출처: AI 개론]

- 점수: 0.8394
  내용: 머신러닝은 데이터로부터 학습하여 예측과 결정을 내리는 인공지능의 하위 분야입니다.
  [출처: AI 개론]

---

• 관련성 점수가 포함된 검색 similarity_search_with_relevance_scores
  • 문서와 함께 0에서 1 사이의 관련성 점수를 반환
  • 0은 가장 관련성이 낮고, 1은 가장 관련성이 높음을 의미

query = "딥러닝은 어떤 분야에서 사용되나요?"
results = chroma_db.similarity_search_with_relevance_scores(
    query,
    k=2,
    filter={"source": "AI 개론"}
)

print(f"쿼리: {query}")
print("\n검색 결과 (관련성 점수 포함):")
for doc, score in results:
    print(f"- 관련성 점수: {score:.4f}")
    print(f"  내용: {doc.page_content}")
    print(f"  [출처: {doc.metadata['source']}]")
    print()

- 출력

쿼리: 딥러닝은 어떤 분야에서 사용되나요?

검색 결과 (관련성 점수 포함):
- 관련성 점수: 0.4844
  내용: 인공지능은 컴퓨터 과학의 핵심 분야 중 하나로, 기계학습과 딥러닝을 포함합니다.
  [출처: AI 개론]

- 관련성 점수: 0.4065
  내용: 머신러닝은 데이터로부터 학습하여 예측과 결정을 내리는 인공지능의 하위 분야입니다.
  [출처: AI 개론]

---

4. 벡터 저장소 로드

chroma_db2 = Chroma(
    collection_name="ai_sample_collection",
    embedding_function=embeddings_model,
    persist_directory="./chroma_db",
)

• persist_directory 내 chroma.sqlite3 파일에서 collections 를 확인하면 id, name, dimension 등 확인이 가능하다.