Google BigQuery 소개

관련 사이트

• https://cloud.google.com/bigquery/docs?hl=ko
• https://cloud.google.com/bigquery/what-is-bigquery?hl=ko

BigQuery 장점

• 많은 양의 데이터를 고성능으로 처리 가능
• 데이터를 원활하게 여러 부서, 담당자들과 쉽게 공유할 수 있는 기능

BigQuery 지향점

• 현업 knowledge를 가진 사람이 BigQuery를 통해 데이터분석이 가능하도록 만드는 것
• 빅데이터 처리

BigQuery - Google BigData의 핵심엔진

• GCP의 분석용 엔터프라이즈 데이터 웨어하우스
• 편리한 표준 SQL
• 완벽 관리형 및 서버리스
• 페타바이트 단위의 스토리지 및 쿼리
• 암호화, 내구성, 고가용성
• 스트리밍 데이터 실시간 분석

BigQuery 역할

• 주로 Store, Analyze

BigQuery Data Transfer Service

• 다양한 소스로부터 데이터를 자동으로 BigQuery에 로딩
• 주기적으로 외부에서 데이터를 로딩하는 ETL 역할
• 지원되는 소스
  • Amazon S3, Redshift
  • Cloud Storage
  • Teradata
  • BigQuery Dataset

BigQuery Query

• 주기적으로 쿼리를 실행하여 결과를 테이블에 저장
• Federated 쿼리를 사용하면 외부 데이터를 로딩 및 변환(ETL/ELT) 가능

BigQuery ML

• BigQuery의 데이터를 이전하지 않고 ML 프로젝트 실행
• BigQuery의 SQL 로 모델을 반복 테스트하여 개발 시간 단축
• 모델 선택 및 하이퍼튜닝 자동화