Big query?? 뭔데??

1. BigQuery

• BigQuery는 이름처럼 엄청나게 큰 데이터에 대한 SQL 쿼리를 빠르게 수행해주는 platform의 서비스 중 하나이다. 들어보니, 페타바이트에 달하는 데이터도 빠르게 분석할 수 있다고 한다. 자체 클러스터를 구성하고 운영하는 수고로움은 덜고, 데이터 분석에만 집중할 수 있는 툴로 많은 기업들에서 데이터 웨어하우스로 도입하고 있다고 한다.
  Cf. 클러스터 : 서버 클러스터란 각기 다른 서버(Server Enterprise or server Datacenter)들을 하나로 묶어서 하나의 시스템같이 동작하게 함으로써, 클라이언트들에게 고가용성의 서비스를 제공하는것을 말한다.

2. 특징

• 클라우드 서비스로 설치/운영이 필요 없다(NoOps) : 간단하게 클릭 몇 번으로 서비스 사용이 가능하고, 별도의 설정이나 운영이 필요 없다. 개발에만 집중 하면 된다!!
• SQL언어 사용 : 기존 RDBMS에서 사용되는 SQL언어를 그대로 사용 한다. Hadoop이나 Spark등은 일정수준의 전문성이 필요한데, 빅쿼리는 로그인 후 SQL만 수행하면 되므로 상대적으로 쉽다.
• 클라우드 스케일의 인프라를 활용한 대용량 지원과 빠른 성능
• 데이터 복제를 통한 안정성 : 3개의 복제본이 서로 다른 데이터 센터에 분산되어 저장되기 때문에 데이터에 대한 유실 위험이 적다.
• 배치와 스트리밍 모두 지원 : 한꺼번에 데이터를 로딩하는 배치 외에, 실시간으로 데이터를 입력할 수 있는 스트리밍 기능을 제공
• 비용이 저렴

• GCP에서 사용하기 위해서는 vscode에 설치!!
• yarn add @google-cloud/bigquery

• Vscode에서 직접 실습해보기.

마무리

=> 결국에는 platform을 사용하면서, 쓰게 될거 같다... 그리고 BigQuery는 Standard SQL과 legacy SQL을 모두 제공 한다고 한다.