Big-Query

BigQuery는 이름에서 알 수 있듯이 엄청나게 큰 데이터에 대한 SQL 쿼리를 빠르게 수행해 주는 platform의 서비스 중 하나이다.

무려 페타바이트에 달하는 데이터도 빠르게 분석할 수 있다. 또한 DB 설계처럼 복잡하지 않으며 따로 관리가 필요하지 않고 검색 속도가 빠르고 필요한 정보만 찾아서 사용할 수 있다.

자체 클러스터를 구성하고 운영하는 수고로움은 덜고 데이터 분석에만 집중할 수 있는 툴로 많은 기업들에서 데이터 웨어하우스로 도입하고 있다.

Project : 데이터를 담는 최상위 개념이며 하나의 프로젝트에 여러 개의 데이터셋이 들어갈 수 있다.
Dataset : RDB에서 Database의 개념이며 하나의 Dataset에 여러개의 테이블이 들어갈 수 있다.
Table : RDB에서 테이블과 동일한 개념이다.
Job : BigQuery에서 내리는 모든 명령이다.

Big Query의 특징

• 클라우드 서비스로 설치/운영이 필요 없다. 간단하게 클릭 몇 번으로 서비스 사용이 가능하고 별도의 설정이나 운영이 필요 없다.
• SQL 언어를 사용한다. 기존 RDBMS에서 사용되는 SQL언어를 그대로 사용한다. Hadoop이나 Spark등은 일정수준의 전문성이 필요한데 빅쿼리는 로그인 후 SQL만 수행하면되므로 상대적으로 쉽다.
• 클라우드 스케일의 인프라를 활용한 대용량 지원과 빠른 성능이 있다. 데이터 복제를 통한 안정성
  3개의 복제본이 서로 다른 데이터 센터에 분산되어 저장되기 때문에 데이터에 대한 유실 위험이 적다.
• 배치와 스트리밍 모두 지원한다. 한꺼번에 데이터를 로딩하는 배치 외에 실시간으로 데이터를 입력할 수 있는 스트리밍 기능을 제공한다.

참고 : 빅쿼리란?