BigQuery Omni
데이터가 있는 위치에서 데이터를 분석하는 기능과 필요에 따라 데이터를 복제할 수 있는 유연성이 포함된 클라우드 간 분석 솔루션
Amazon S3 또는 Azure blob storagee에 저장된 데이터에 대해 BigQuery 분석을 수행할 수 있다.
작동 방식
BigQuery 아키텍처는 스토리지(Colussus)와 컴퓨팅(Dremel)을 분리하고 필요에 따라 대용량 워크로드를 처리하기 위해 BigQuery 수평 확장이 허용된다.
BigQuery Omni는 다른 클라우드에서 BigQuery 쿼리 엔진을 실행하여 이 아키텍처를 확장하는 것이라고 보면 된다.
때문에 데이터를 BigQuery 스토리지로 물리적으로 이동할 필요가 없고, 처리 작업은 데이터가 이미 있는 위치에서 수행할 수 있다.
쿼리 결과를 Google Cloud로 반환 or Amazon S3나 Azure blob storage에 직접 기록할 수 있다.
이 경우 쿼리 결과에 대한 클라우드 간 이동이 발생하지 않는다.
BigQuery Omni 이점
-
성능
데이터를 클라우드 간에 복사하지 않고 데이터가 있는 리전과 동일한 리전에서 쿼리가 실행되어 더욱 빠르게 유용한 정보를 얻을 수 있다. -
비용
데이터가 이동되지 않으므로 네트워크 이그레스 비용을 절약할 수 있다. Google에서 관리되는 클러스터에서 쿼리가 실행되기 때문에 BigQuery Omni 분석과 관련된 AWS 또는 Azure에 추가 비용이 발생하지 않는다. BigQuery 쿼리 실행에 대해서만 비용이 청구된다. -
보안 및 데이터 거버넌스
자체 AWS 또는 Azure 구독으로 데이터를 관리
퍼블릭 클라우드 바깥으로 원시 데이터를 이동하거나 복사할 필요가 없다. -
서버리스 아키텍처
BigQuery와 마찬가지로 BigQuery Omni는 서버리스 제품.
Google은 BigQuery Omni를 실행하는 클러스터를 배포하고 관리한다.
리소스를 프로비저닝하거나 클러스터를 관리할 필요가 없다. -
관리 용이성
BigQuery Omni는 Google Cloud를 통해 통합된 관리 인터페이스를 제공
BigQuery Omni는 기존 Google Cloud 계정 및 BigQuery 프로젝트를 사용할 수 있고, Google Cloud 콘솔에서 표준 SQL 쿼리를 작성하여 AWS 또는 Azure에서 데이터를 쿼리하고 콘솔에서 확인할 수 있다. -
교차 클라우드 전송
S3 버킷 및 Azure blob 스토리지에서 기본 BigQuery 테이블로 데이터를 로드 가능
단, BigQuery Omni에는 표준 테이블을 만들 수 없고 외부 테이블만 생성 가능하다.
또한 BigQuery ML문, CREATE MATERIALIZED VIEW, DML문은 지원되지 않는다.
AWS와 Azure에서 지원되는 리전도 미국 동부리전 밖에 지원되지 않는다.
(AWS : aws-us-east-1, Azure : azure-eastus2)
+수정사항 : 2023년부터 us-east외의 다른 리전으로 서울 리전 지원
