Big-Query

Big-Query 란?

Big-Query는 머신러닝, 지리정보 분석, 비즈니스 인텔리전스와 같은 기본 제공 기능으로 데이터를 관리하고 분석할 수 있게 해주는 완전 관리형 엔터프라이즈 데이터 웨어하우스입니다,Big-Query의 확장 가능한 분산형 분석 엔진을 통해 테라바이트 급 쿼리를 초 단위로 수행하고 페타바이트급 쿼리를 분단위로 쿼리할 수 있습니다.

Big-Query 스토리지 주요 기능

1. 관리형
   • 완전 관리형 서비스, 스토리지 리소스를 프로비저닝 하거나 스토리지 단위르 예약할 필요가 없습니다, 시스템에 데이터를 로드할 때 자동으로 할당, 사용한 스토리지 용량에 대해서만 지불, 가격은 컴퓨팅과 스토리지 요금을 별도로 청구합니다.
2. 내구성
   • 내구성과 가용성을 위해 여러 위치에 데이터를 복제, 머신 수준 장애 또는 영역 장애로 인한 데이터 손실방지, 리전간리전 간 재해 복구의 경우 데이터를 백업하도록 리전 간 복사를 설정 가능하다.
3. 암호화
   • 디스크 기록하기 전에 모든 데이터를 자동으로 암호화, 자체 암호화 키 또는 Google 관리형 암호화 키를 관리 할 수 있습니다.
4. 효율적
   • 분석 워크로드에 최적화된 효율적인 인코딩 형식을 사용합니다.

Big-Query의 주요 구성

Project

• 데이터를 담는 최상위 개념, 하나의, 프로젝트에 여러개의 데이터셋이 들어갈 수 있습니다.
• 사용자와 데이터셋에 대한 권한 제어를 포함한 전반적인 리소스 관리

Dataset

• RDB에서 Database의 개념이며, 하나의 Dataset에 여러개의 테이블이 들어갈 수 있습니다.
• 빅쿼리에서 권한 제어를 할 수 있는 최소 단위
• 데이터셋에 대한 권한부여를 통해 다른 사용자와 데이터 공유가능합니다.

Table

• RDB에서 테이블과 동일한 개념입니다.
• 스키마를 가지고 있고 행 단위 업데이트는 지원하지 않습니다.
• 테이블에 대한 권한제어는 따로 적용되지 않으며, 해당 테이블을 가지고 있는 부모 데이터셋으로부터 상속 받습니다.

Job

• Big-Query에서 내리는 모든 명령
• 쿼리/ 데이터로딩/ 삭제/ 복사/ 내보내기 등의 명령을 수행하는 비동기식 연산입니다.

데이터 로딩 지원도구(Tools)

Web UI

• 웹 브라우저 기반으로 제공하는 빅쿼리 전용 웹 콘솔로 비전문가도 사용하기 좋습니다.

Command-line interface

• 파이썬 기반의 명령어 도구가 제공됩니다.

REST API

• POST요청으로 데이터 로딩을 할 수 있는 REST형태의 API를 제공하며, 재개 가능 업로드, 다중 부분 업로드의 두가지 옵션을 제공합니다.

Streaming API

-잡을 사용해서 대규모의 데이터를 로드하는 대신 한번에 하나의 레코드를 삽입할 수 있는 API를 제공합니다.

Third-party ETL tools and connectors

• 각종 3party의 ETL 툴 및 시각화, 개발 환경 등과의 연동할 수 있도록 커넥터를 제공합니다.