인공지능 기술의 발전과 함께 기업들은 자사의 데이터를 활용하여 생성형 AI 애플리케이션을 구축하고자 하는 니즈가 급증하고 있습니다. 그러나 기업 환경에서 프로덕션 품질의 생성형 AI를 구축하는 것은 데이터 준비, 모델 선택, 훈련, 평가, 배포, 그리고 거버넌스까지 복잡한 과정을 필요로 합니다. 데이터브릭스의 모자이크AI는 이러한 전체 AI 수명 주기를 통합적으로 관리하고 프로덕션 품질의 AI 애플리케이션을 구축할 수 있도록 지원하는 종합 솔루션입니다.
모자이크AI란?
모자이크AI는 예측 ML 모델부터 최신 생성형 AI 솔루션에 이르기까지, 프로덕션 품질의 AI 에이전트 시스템과 ML 애플리케이션을 구축, 배포, 평가, 관리하는 데 도움이 되는 데이터브릭스의 통합 AI 플랫폼입니다. 데이터를 AI 모델과 안전하게 연결하여 전문 분야별로 정확한 애플리케이션을 구축할 수 있도록 설계되었습니다.
2023년 데이터브릭스가 MosaicML을 13억 달러에 인수한 이후, 모자이크AI라는 이름으로 재브랜딩되어 데이터브릭스 AI 플랫폼의 핵심 요소가 되었습니다.
모자이크AI의 핵심 구성 요소
데이터브릭스는 최근 모자이크AI에 다음과 같은 새로운 기능들을 추가하여 기업들이 더 쉽게 생성형 AI 애플리케이션을 구축할 수 있도록 지원하고 있습니다:
1. 모자이크 AI 에이전트 프레임워크
에이전트 프레임워크는 개발자가 고품질의 생성형 AI 애플리케이션을 구축하고 배포할 수 있도록 지원하는 도구 세트입니다. 특히 검색 증강 생성(RAG) 애플리케이션 구축을 위한 종합적인 도구를 제공합니다. 이를 통해 기업은 자사의 독점 데이터를 안전하게 활용하여 Unity Catalog에서 관리되는 AI 시스템을 구축할 수 있습니다.
함수 호출(Function-Calling) 기능을 통해 개발자는 Llama 3-70B와 같은 인기 있는 오픈 소스 모델을 에이전트의 추론 엔진으로 사용할 수 있습니다.
2. 모자이크 AI 에이전트 평가(Agent Evaluation)
에이전트 평가는 개발자가 AI 시스템의 품질을 정의하고, 측정하고, 반복할 수 있도록 돕는 기능입니다. 이 도구는 다음과 같은 기능을 제공합니다:
- AI 시스템의 성공적인 상호작용에 대한 황금 예제(golden examples)를 통해 품질 기준 정의
- 모델, 검색 방식 또는 도구 변경 등 시스템 구성 요소를 조정하며 품질 변화 평가
- Databricks 계정이 없는 조직 내 주제 전문가도 AI 시스템 출력을 검토하고 레이블을 지정할 수 있는 인터페이스 제공
- AI 판단(LLM judges)을 통해 정확성이나 유용성과 같은 일반적인 기준에 따라 응답 평가
- 저품질 응답의 원인을 진단하기 위한 상세한 프로덕션 추적 제공
3. 모자이크 AI 툴 카탈로그(Tool Catalog)
모자이크 AI 툴 카탈로그는 기업이 일반적인 함수(내부 또는 외부)의 엔터프라이즈 레지스트리를 생성하고 조직 전체에서 AI 애플리케이션에 사용할 수 있도록 이러한 도구를 공유할 수 있게 해줍니다. 도구는 SQL 함수, Python 함수, 모델 엔드포인트, 원격 함수 또는 검색기(retrievers)가 될 수 있습니다.
4. 모자이크 AI 모델 트레이닝(Model Training)
모델 트레이닝은 소규모 데이터셋에서 모델을 미세 조정하거나, DBRX와 같이 3,000개 이상의 GPU에서 수조 개의 토큰으로 모델을 사전 훈련시키는 등의 작업을 위한 쉽게 사용할 수 있는 관리형 API를 제공합니다. 기업은 자사의 비공개 데이터를 활용하여 오픈 소스 기반 모델을 미세 조정함으로써 특정 도메인이나 업무에 특화된 지식을 제공할 수 있습니다.
고객들은 기업 업무에서 GPT-4 성능과 일치하면서도 비용과 지연 시간을 줄이기 위해 시스템 구성 요소용 소형 오픈 소스 모델을 미세 조정하여 성공을 거두고 있습니다.
5. 모자이크 AI 게이트웨이(Gateway)
모자이크 AI 게이트웨이는 조직 내에서 생성형 AI 모델 및 에이전트의 사용 및 관리를 간소화하도록 설계되었습니다. 이 기능은 다음과 같은 이점을 제공합니다:
- 모든 오픈 소스 또는 독점 모델을 관리 및 배포할 수 있는 통합 인터페이스 제공
- 모델 API(외부 또는 내부)에 대한 속도 제한, 권한 및 자격 증명 관리 활성화
- 모델 API를 쿼리하기 위한 단일 인터페이스 제공하여 고객이 시스템에서 모델을 쉽게 전환하고 사용 사례에 가장 적합한 모델을 찾기 위해 빠르게 실험할 수 있도록 지원
- 게이트웨이 사용량 추적을 통해 각 모델 API를 호출하는 사용자 추적
- 데이터 유출에 대한 감사를 위해 입출력 데이터 캡처
또한 AI 가드레일(Guardrails)을 통해 안전하지 않은 응답을 방지하거나 민감한 데이터 유출을 방지하는 PII 감지 필터를 추가할 수 있습니다.
모자이크AI의 주요 장점
1. 에이전트 시스템을 위한 독보적인 통합 플랫폼
일반 AI 모델에 의존하지 않고, 데이터브릭스는 데이터에 기반한 정확한 결과물을 제공하는 에이전트 시스템을 구축할 수 있는 도구를 제공합니다.
2. 데이터를 기반으로 구축된 에이전트
여러 시스템 전반에서 기업 데이터에 맞게 조정된 에이전트를 빠르게 개발할 수 있습니다. 기존 ML부터 생성형 AI에 이르기까지, 어떤 모델이든 응용 분야의 요구에 가장 적합한 솔루션을 적용할 수 있습니다.
3. 사용자 지정 평가
모자이크 AI는 에이전트를 위한 평가를 기본 제공하며 모든 AI 모델을 지원합니다. AI 판단(AI Judges)을 통해 에이전트 결과의 품질을 측정하고, 수정 사항을 평가하고, 신속하게 재배포할 수 있습니다.
4. 거버넌스
에이전트를 위한 엔드투엔드 거버넌스로 데이터 보안을 유지할 수 있습니다. 모든 모델에 가드레일을 적용하고, 액세스 제어를 자동화하고, 비율 제한을 설정하고, 전체 워크플로에서 데이터 리니지를 추적할 수 있습니다.
모자이크AI의 성공 사례
모자이크AI를 활용한 주요 기업들의 성공 사례는 다음과 같습니다:
- FactSet: 텍스트-코드 변환 지식 에이전트를 구축하여 정확도를 44% 향상시켰습니다. 단일 기초 모델에서 에이전트 시스템으로 발전하여 기술 지식이 없는 사용자의 자연어 질문에 더 높은 품질의 답변을 제공할 수 있게 되었습니다.
- Block: 모자이크 AI를 사용하여 판매자의 작업을 자동화하는 AI 에이전트 시스템을 구축하여 맞춤형 메뉴 생성 등의 작업을 자동화했습니다. 이를 통해 약 1,000만 달러에 달하는 생산성 향상을 이루었습니다.
- Intercontinental Exchange(ICE): 고유한 금융 데이터를 안전하게 사용하여 고객의 질문에 96%의 응답 정확도로 매우 정확한 답변을 제공하는 에이전트 시스템을 구축했습니다.
- Comcast: 지능형 음성 명령을 통해 참여도를 높이는 동시에 ML 비용을 10배 절감하는 개인화된 시청 환경을 구축했습니다.
- Corning: 데이터브릭스 모자이크 AI 에이전트 프레임워크를 사용하여 미국 특허청 데이터를 포함한 수십만 개의 문서를 인덱싱하는 AI 연구 보조원을 구축했습니다. 이를 통해 검색 속도, 응답 품질 및 정확성을 크게 향상시켰습니다.
모자이크AI와 복합 AI 시스템(Compound AI Systems)
최근 연구에 따르면, 최첨단 AI 결과는 점점 더 모놀리식 모델이 아닌 여러 구성 요소를 가진 복합 시스템을 통해 얻어지고 있습니다. 모자이크AI는 이러한 복합 AI 시스템을 구축하고 배포하기 위한 최적의 플랫폼을 제공합니다.
예를 들어, FactSet이 금융 공식 변환 사용 사례에 상용 LLM을 배포했을 때 생성된 공식의 정확도는 55%에 불과했지만, 모델을 복합 시스템으로 모듈화하여 각 작업을 전문화함으로써 85%의 정확도를 달성할 수 있었습니다.
결론
데이터브릭스의 모자이크AI는 기업이 데이터에서 인공지능으로의 여정을 간소화하고 가속화할 수 있도록 도와주는 종합적인 플랫폼입니다. 데이터 준비부터 모델 훈련, 평가, 배포, 그리고 거버넌스까지 AI 애플리케이션 개발의 전체 라이프사이클을 지원합니다.
모자이크AI를 통해 기업은 일반 인공지능에서 데이터 인텔리전스로 전환하여 기업 데이터를 활용한 더 관련성 높은 인사이트를 더 빠르게 얻을 수 있습니다. 중앙 집중식 거버넌스와 훈련, 추적, 평가, 스왑 및 배포를 위한 통합 인터페이스를 갖춘 단일 플랫폼에서 복합 AI 시스템을 구축하고 협업할 수 있도록 팀을 지원합니다.
데이터브릭스는 복합 AI 시스템 구축 지원, 모델 품질 개선 기능 및 새로운 AI 거버넌스 도구라는 세 가지 핵심 영역에 계속 투자하고 있으며, 이를 통해 기업들이 더 쉽게 생성형 AI를 도입하고 활용할 수 있도록 지원하고 있습니다.
