서론: 진화하는 비즈니스 인텔리전스의 세계
비즈니스 인텔리전스(BI)는 기업이 데이터 기반 의사결정을 내리는 데 핵심적인 역할을 해왔습니다. 그러나 전통적인 BI 도구는 여러 한계에 직면해 있습니다. 데이터 준비에 많은 시간이 소요되고, 기술적 지식이 필요하며, 사전에 정의된 질문에만 답할 수 있다는 제약이 있습니다. 데이터브릭스는 이러한 한계를 극복하기 위해 AI/BI라는 혁신적인 솔루션을 출시했습니다. 이번 글에서는 데이터브릭스의 BI 기능, 특히 AI/BI가 제공하는 독특한 가치와 기능에 대해 심층적으로 알아보겠습니다.
데이터브릭스 AI/BI란 무엇인가?
데이터브릭스 AI/BI는 2024년에 출시된 새로운 유형의 비즈니스 인텔리전스 제품으로, 조직 내 모든 사람이 데이터를 분석하고 인사이트를 얻을 수 있도록 돕는 것을 목표로 합니다. 이 솔루션은 단순히 기존 BI 도구에 AI를 추가한 것이 아니라, AI를 중심으로 설계된 완전히 새로운 접근 방식을 제공합니다.
데이터브릭스 AI/BI는 다음 두 가지 핵심 구성 요소로 이루어져 있습니다:
- AI/BI 대시보드(Dashboards): AI 기반의 로우코드 인터페이스로, 빠르고 인터랙티브한 대시보드를 쉽게 생성하고 배포할 수 있습니다.
- AI/BI 지니(Genie): 자연어를 통해 즉석 질문과 후속 질문을 처리하는 대화형 인터페이스입니다.
이 두 구성 요소는 복합 AI 시스템(Compound AI System)에 의해 구동됩니다. 이 시스템은 조직의 전체 데이터 스택(ETL 파이프라인, 계보, 쿼리 등)에서 사용 패턴을 지속적으로 학습하여 복잡한 질문에 정확하게 답변할 수 있습니다. 게다가 기존 도구에서 요구되는 사전 설정이나 모델링 작업 없이도 이런 기능을 제공합니다.
AI/BI 대시보드: 데이터 시각화의 새로운 패러다임
주요 특징과 기능
AI/BI 대시보드는 데이터 시각화와 보고서 공유를 위한 강력한 도구입니다. AI 지원 저작, 향상된 시각화 라이브러리, 간소화된 구성 경험을 제공하여 데이터를 공유 가능한 인사이트로 빠르게 변환할 수 있습니다.
1. AI 지원 시각화
대시보드에서 가장 주목할 만한 기능 중 하나는 AI 지원 시각화입니다. 사용자는 자연어로 원하는 차트를 설명하기만 하면 데이터브릭스 어시스턴트가 자동으로 차트를 생성합니다. 생성된 차트는 구성 패널을 통해 수정할 수 있습니다.
2. 다양한 시각화 옵션
AI/BI 대시보드는 다음과 같은 다양한 시각화 유형을 지원합니다:
- 영역 차트(Area)
- 막대 차트(Bar)
- 박스 플롯(Box)
- 콤보 차트(Combo)
- 카운터(Counter)
- 히트맵(Heatmap)
- 히스토그램(Histogram)
- 라인 차트(Line)
- 파이 차트(Pie)
- 피벗 테이블(Pivot)
- 샌키 다이어그램(Sankey)
- 산점도(Scatter)
- 테이블 차트
3. 크로스 필터링 기능
크로스 필터링을 통해 선택한 데이터 하위 집합을 분석하고 여러 시각화에서 관계를 탐색할 수 있습니다. 한 차트에서 요소를 클릭하면 동일한 데이터셋을 사용하는 같은 페이지의 모든 차트가 자동으로 선택한 값에 따라 필터링됩니다.
4. 계산된 측정값과 차원
최근 업데이트에서는 계산된 측정값(Calculated Measures)과 차원(Dimensions)을 생성하는 기능이 추가되었습니다. 이를 통해 원본 데이터셋을 변경하지 않고도 이익 마진이나 마일당 비용과 같은 새로운 지표를 동적으로 계산하고 시각화할 수 있습니다.
5. 멀티페이지 보고서
대시보드는 최대 10개의 페이지로 구성할 수 있으며, 각 페이지에 시각화, 텍스트, 필터 위젯을 추가할 수 있습니다. 이를 통해 콘텐츠 프레젠테이션을 구성하고, 스크롤을 최소화하며, 대시보드의 가독성을 향상시킬 수 있습니다.
공유 및 협업 기능
AI/BI 대시보드는 강력한 공유 및 협업 기능을 제공합니다:
- 드래프트 협업: 워크스페이스 내 다른 사용자와 드래프트를 공유하여 협업할 수 있습니다.
- 자격 증명 임베딩: 대시보드를 게시할 때 자격 증명을 임베딩하면 뷰어가 게시자의 데이터 권한을 사용하여 쿼리를 실행할 수 있습니다.
- 계정 수준 공유: 워크스페이스에 할당되지 않은 사용자와도 대시보드를 안전하게 공유할 수 있습니다.
- 임베딩: 외부 웹사이트와 애플리케이션에 게시된 대시보드를 iframe을 사용하여 임베딩할 수 있습니다.
- PDF 다운로드: 게시된 대시보드를 PDF 문서로 다운로드할 수 있습니다.
AI/BI 지니: 자연어로 데이터와 대화하기
지니의 작동 방식
AI/BI 지니는 자연어를 사용하여 데이터와 상호작용할 수 있는 대화형 인터페이스입니다. 이는 단일 대형 언어 모델을 사용하는 대신 여러 상호작용 구성 요소를 결합하는 복합 AI 시스템에 기반합니다.
사용자가 질문을 제출하면 지니는 다음과 같은 과정을 거칩니다:
- 요청을 파싱하고 관련 데이터 소스를 식별합니다.
- 프롬프트에 어떻게 응답할지 결정합니다.
- 제공된 지침과 Unity Catalog 메타데이터를 활용하여 비즈니스 및 기술 로직을 추론합니다.
- 예제 SQL 쿼리, 테이블 및 열 메타데이터, 채팅 기록을 지능적으로 필터링하여 요청에 답변하는 데 가장 관련성이 높은 정보를 선택합니다.
지니는 다음과 같은 구성 요소를 사용하여 응답을 생성합니다:
- 테이블 메타데이터: 테이블 이름, 설명, 기본 키(PK) 및 외래 키(FK) 관계를 포함합니다.
- 열 이름 및 설명: 관련 열 이름과 설명을 지능적으로 필터링합니다.
- 예제 SQL 쿼리: 지침에서 관련 SQL 예제를 지능적으로 선택합니다.
- SQL 함수: 공간에 추가된 모든 SQL 함수를 포함합니다.
- 지침: 일반 지침으로 제공된 일반 텍스트 노트를 컨텍스트로 포함합니다.
- 프롬프트 및 응답 기록: 현재 채팅의 프롬프트와 응답을 컨텍스트로 포함합니다.
신뢰할 수 있는 자산(Trusted Assets)
지니의 주요 기능 중 하나는 신뢰할 수 있는 자산(Trusted Assets)입니다. 이는 결과의 정확성에 대한 추가적인 보증 레이어를 제공합니다. 매개변수화된 예제 쿼리나 SQL 함수의 정확한 텍스트가 응답 생성에 사용되면 지니는 해당 응답을 "신뢰할 수 있음(Trusted)"으로 표시합니다.
벤치마크를 통한 응답 평가
벤치마크 기능을 사용하면 지니 공간의 개별 응답에 대한 테스트와 평가를 확장할 수 있습니다. 지침과 달리 벤치마크는 지니 공간에 정보를 제공하는 것이 아니라 평가하는 것을 목적으로 합니다.
벤치마크를 사용하여 테스트 질문 모음을 실행하고 응답을 사용하여 지니의 정확도를 측정할 수 있습니다. 선택적으로 예상 결과를 반환하는 SQL 문을 포함할 수 있으며, 벤치마크 질문이 실행되면 지니의 응답이 SQL 문에서 제공한 결과와 비교되어 정확도가 평가됩니다.
최근 업데이트와 새로운 기능
데이터브릭스는 AI/BI 제품을 지속적으로 개선하고 있습니다. 2025년 2월 업데이트에서는 다음과 같은 새로운 기능이 추가되었습니다:
AI/BI 대시보드 업데이트
- 계산된 측정값: 대시보드 저자는 원본 데이터셋을 변경하지 않고 새로운 지표를 동적으로 계산하고 시각화할 수 있습니다.
- 대시보드 PDF 다운로드: 사용자는 AI/BI 대시보드를 PDF 문서로 다운로드할 수 있습니다.
- 페이지 복제: 사용자는 대시보드 페이지를 복제하여 빠르게 유사한 보고서를 만들 수 있습니다.
- 위젯 간 복사/붙여넣기: 사용자는 키보드 단축키를 사용하여 페이지 간에 위젯을 복사하고 붙여넣을 수 있습니다.
- 데이터셋 재정렬: 사용자는 드래그 앤 드롭을 사용하여 데이터셋을 빠르게 재정렬할 수 있습니다.
- 차트 축 정렬 사용자 지정: 사용자는 차트 축에 필드가 나타나는 정렬 순서를 사용자 지정할 수 있습니다.
AI/BI 지니 업데이트
- 향상된 시각화: 지니 시각화 라이브러리가 AI/BI 대시보드와 일치하도록 업데이트되었습니다. 이제 시각화 유형 변경, 차트 축 서식 지정 및 정렬, 색상 조정, 툴팁 등을 조정할 수 있습니다.
- 자동 시각화 생성: 지니는 데이터의 시각적 표현이 최종 사용자의 명확성을 향상시킬 것으로 판단할 때 자동으로 시각화를 생성합니다.
- 체인 오브 소트(Chain-of-Thought) 추론: 지니는 이제 텍스트-SQL 변환을 향상시키기 위해 체인 오브 소트 추론을 활용합니다. 이는 관련 열 식별, SQL 생성 계획, 최종 쿼리 조립 등의 단계로 쿼리를 분해합니다.
- 향상된 쿼리 설명: 지니는 이제 더 정확한 쿼리 설명을 생성하기 위해 업데이트된 모델을 활용합니다.
- 감사 로그 이벤트: AI/BI 지니는 이제 감사 로그에 이벤트를 발생시킵니다. 이를 통해 관리자는 지니 공간 내의 세분화된 활동을 이해하고 분석할 수 있습니다.
데이터브릭스 AI/BI의 차별화 요소
데이터브릭스 AI/BI는 기존 BI 도구와 비교했을 때 여러 차별화 요소를 제공합니다:
1. 단순화된 아키텍처
데이터와 분석을 위한 하나의 시스템을 제공하므로 여러 플랫폼에서 데이터를 복제하거나 액세스 정책을 관리할 필요가 없습니다. AI/BI는 데이터브릭스에 네이티브하며 Unity Catalog 위에 구축되어 모든 데이터와 BI 자산에 대한 통합 거버넌스 및 엔드투엔드 계보를 제공합니다.
2. 데이터 학습 능력
데이터 인텔리전스가 포함된 비즈니스 인텔리전스를 경험할 수 있습니다. AI/BI를 구동하는 모델은 기업 데이터와 비즈니스 의미론에 대한 깊은 지식을 가지고 있어, 자연어 질문에 대한 정확한 답변을 조직에 맞게 제공할 수 있습니다.
3. 더 스마트한 셀프 서비스
누구나 대시보드를 넘어 엔터프라이즈 데이터에서 직접 인사이트를 셀프 서비스할 수 있습니다. 대화형 인터페이스를 통해 AI/BI 지니는 사용자에게 자연어 질문에 대한 답변을 제공하면서 전문가 실무자에 대한 의존도를 줄여줍니다.
4. 통합 거버넌스 및 계보
AI/BI는 Unity Catalog에 깊이 통합되어 있습니다. 동일한 거버넌스 프레임워크를 따르며, 관리자가 설정한 모든 글로벌 정책이 AI/BI에 적용됩니다. 또한 Unity Catalog의 계보 기능 덕분에 데이터 제작자나 관리자는 데이터 자산이 AI/BI에서 어떻게 사용되는지 관찰할 수 있으며, 최종 사용자는 데이터셋의 기원을 데이터 수집까지 추적할 수 있기 때문에 분석에 더 높은 신뢰를 둘 수 있습니다.
5. 업계 최고 수준의 가격 대비 성능
AI/BI는 데이터브릭스 SQL 데이터 웨어하우스 및 Photon 엔진과 긴밀하게 통합되어 있어, 고성능 상호작용을 제공하는 고유한 최적화를 포함합니다. 메가바이트에서 페타바이트까지 데이터 볼륨 전반에 걸쳐 업계 최고의 가격 대비 성능을 제공합니다.
6. 데이터 추출 불필요
AI/BI는 별도의 BI 엔진으로 관심 데이터셋을 추출할 필요가 없으므로, 데이터 신선도가 향상되고 거버넌스가 단순화됩니다.
사용 사례와 예시
예시 1: 영업 기회 상태 시각화
영업 관리자가 영업 파이프라인에서 단계별로 미결 및 종결된 기회의 현재 상태를 파악하고자 합니다. AI/BI 지니 공간에서 자연어를 사용하여 상호작용하고 자동으로 시각화를 생성할 수 있습니다.
예를 들어, "단계별 미결 및 종결 기회를 보여주세요"라고 질문하면 지니는 관련 데이터를 분석하고 적절한 시각화와 함께 응답을 제공합니다.
예시 2: 물류 추적
물류 회사는 서로 다른 부서의 비즈니스 사용자가 운영 및 재무 세부 정보를 추적하는 데 도움이 되도록 지니 공간을 활용할 수 있습니다. 물류 회사는 배송 시설 관리자가 배송을 추적할 수 있는 지니 공간과 재무 임원이 재무 건전성을 이해할 수 있는 또 다른 공간을 설정할 수 있습니다.
예시 3: 데이터 기반 제품 의사결정
제품 관리 팀은 AI/BI 대시보드를 사용하여 제품 성능을 모니터링하고 사용자 행동을 분석할 수 있습니다. 제품 관리자는 "지난 분기 대비 이번 분기의 지역별 활성 사용자 수는 어떻게 변했나요?"와 같은 질문을 할 수 있으며, 지니는 관련 데이터를 분석하고 시각화를 통해 인사이트를 제공합니다.
가용성 및 가격 책정
AI/BI는 모든 Databricks SQL Pro 및 Serverless 고객에게 포함되어 있습니다. AI/BI 대시보드는 일반적으로 사용 가능하며, 지니는 현재 공개 프리뷰 단계에 있습니다. 두 제품 모두 웨어하우스 컴퓨팅 비용 외에 추가 라이선스 비용이 없습니다.
결론: 데이터 기반 의사결정의 미래
데이터브릭스 AI/BI는 비즈니스 인텔리전스의 미래를 대표합니다. 전통적인 BI 도구의 한계를 뛰어넘어 AI를 중심으로 설계된 새로운 접근 방식을 제공합니다. 이를 통해 기술적 전문 지식 없이도 복잡한 데이터 질문에 답변할 수 있고, 데이터에서 의미 있는 인사이트를 발견할 수 있습니다.
AI/BI 대시보드의 AI 지원 저작과 지니의 대화형 인터페이스를 통해 사용자는 데이터와 상호작용하는 새로운 방법을 경험할 수 있습니다. 데이터브릭스 데이터 인텔리전스 플랫폼과의 통합을 통해 통합 거버넌스, 계보, 안전한 공유 및 모든 데이터 크기에 대한 뛰어난 성능을 제공합니다.
비즈니스 사용자는 이제 복잡한 BI 시스템 설정 방법을 배우지 않고도 데이터에서 인사이트를 얻을 수 있습니다. 데이터 분석가와 엔지니어는 반복적인 대시보드 및 보고서 생성 작업에서 벗어나 더 복잡한 분석과 전략적 이니셔티브에 집중할 수 있습니다.
데이터브릭스 AI/BI는 자연어 처리와 AI 기술의 발전을 활용하여 데이터 기반 의사결정을 더 많은 사람들에게 접근 가능하게 만드는 BI의 다음 진화 단계를 보여줍니다. 이는 단순히 새로운 도구가 아니라 데이터와 상호작용하고 인사이트를 발견하는 방식의 근본적인 변화를 나타냅니다.
