Cortex Search

1. Cortex Search 개요

• Snowflake Cortex Search는 특히 비정형 데이터 검색 및 RAG(Retrieval Augmented Generation) 워크로드를 위한 완전 관리형(Fully Managed) 검색 서비스입니다.
• Snowflake Cortex Search는 기업의 방대한 문서, 계약서, 이미지 등 비정형 데이터를 AI가 이해하고 활용할 수 있도록 최적화된 하이브리드 검색 엔진을 제공합니다.
• 이는 데이터를 이동하지 않고도 LLM 기반 애플리케이션의 정확도를 획기적으로 높이는 핵심 구성 요소입니다.
  

2. Cortex Search의 핵심 기능 및 아키텍처

Cortex Search의 기반은 하이브리드 검색 엔진(Hybrid Retrieval Engine)과 RAG 워크플로우를 지원하는 완전 관리형 서비스(Fully Managed Service)입니다.

• 하이브리드 검색 (Hybrid Search):

  • Cortex Search는 검색 품질을 극대화하기 위해 두 가지 주요 검색 방식을 결합합니다.
    • 벡터 임베딩 기반 의미 유사도 (Semantic Lookup): 질문의 의미론적(의도) 유사성을 기반으로 가장 관련성 높은 문서를 찾습니다.
    • 키워드 기반 유사도 (Keyword / Lexical Lookup): 전통적인 키워드 일치를 기반으로 정확한 용어 매칭을 수행합니다.
  • 이 두 결과를 Result Fusion and Reordering 과정을 거쳐 최종적으로 가장 정확한 문서 셋 (Result Set)을 제공합니다.
    

• RAG 워크플로우 지원:

  • Cortex Search는 RAG 워크플로우에서 검색(Retrieval) 단계를 효율적이고 정확하게 처리하도록 돕습니다.
  • 사용자의 질문을 기반으로 관련 문서를 추출(Context Docs)하고, 이 문맥(Context)을 Cortex LLM Functions에 전달하여 정확한 답변을 생성(Response Generation)합니다.
  • Build Index: 이 벡터와 텍스트를 기반으로 검색 인덱스(VECTOR + TEXT INDEX)를 구축합니다.
  • Serve: 추출된 정보는 Cortex LLM Function에 전달되어 상황에 맞는 답변을 생성합니다.
    

• 완전 관리형 서비스 (Fully Managed)
  자동 인덱싱 및 검색: Snowflake 안에서 보안 및 거버넌스가 적용된 데이터 기반으로 자동 업데이트되며, 사용자는 간단한 API 호출을 통해 운영 부담 없이 활용합니다.

• 멀티모달 RAG 지원 (NEW)
  PDF, PNG와 같은 비정형 데이터에서 PARSE_DOCUMENT()나 EMBED_IMAGE_1024()와 같은 SQL 함수를 사용하여 텍스트와 이미지 정보를 추출하고 멀티모달 벡터를 생성합니다.

3. 동급 최고의 검색 정확도 및 최적화

Cortex Search는 다양한 검색 작업에서 다른 경쟁사 서비스 대비 동급 최고의 정확도를 제공합니다.

• 더 스마트한 검색 방식
  • 벡터 + 키워드 기반 하이브리드 검색: 맥락(의미)과 키워드(정확성)를 모두 반영하여 정밀한 검색 결과를 제공합니다.
  • 재순위화 모델 (Re-rank) 및 커스텀 스코어링: 검색된 결과 중 유용한 결과를 사용자에게 우선적으로 노출합니다.
• 내 데이터에 맞춘 최적화
  • 자동 학습 기반 품질 향상: 별도 설정 없이 자동 학습을 통해 검색 품질을 지속적으로 향상시킵니다.
  • 사용자 행동 기반 개인화: 사용자 행동에 기반한 개인화된 검색 결과를 제공합니다.
  • 비즈니스 맞춤 튜닝: 중요한 용어에 가중치를 부여하는 등의 튜닝을 통해 특정 비즈니스 도메인에 최적화된 검색이 가능합니다.

4. 서비스 구축 및 활용

Cortex Search는 단일 SQL 명령으로 서비스를 생성하고, Python API를 통해 검색을 수행할 수 있도록 지원합니다.

• 단일 SQL 명령으로 서비스 생성
  CREATE CORTEX SEARCH SERVICE 명령을 사용하여 검색 서비스를 생성합니다.
  

  • ON 절: 실제로 검색 쿼리가 수행될 검색 텍스트 칼럼을 지정합니다. (예: transcript_text)
  • ATTRIBUTES 절: 검색 전에 필터링을 하거나 검색 결과와 함께 반환할 메타데이터 칼럼을 정의합니다. (예: call_timestamp)
  • TARGET_LAG: 인덱스 데이터가 원본 테이블과 얼마나 지연될 수 있는지 설정하여 데이터 갱신 주기를 관리합니다.

• Python API를 통한 검색
  생성된 검색 서비스는 SQL 외에도 LLM 응용 프로그램 워크로드에 최적화된 Python API를 통해 쿼리할 수 있습니다.
  
  이처럼 Snowflake Cortex Search는 비정형 데이터 기반의 AI 애플리케이션을 구축하는 데 필요한 고성능, 고정확도, 완전 관리형 검색 기능을 Snowflake 플랫폼 내에서 통합적으로 제공합니다.