BigQuery는 엄청나게 큰 데이터에 대한 SQL 쿼리를 빠르게 수행해주는 플렛폼 서비스 중 하나입니다. 페타바이트에 달하는 데이터도 빠르게 분석할 수 있고 DB 설계처럼 복잡하지 않으며 구글에서 관리해주기 때문에 사용자가 별도의 서버나 물리적 하드웨어에 대해 스트레스를 받을 일이 없습니다. 그러므로 관리가 필요하지 않고 검색 속도가 빠르고 필요한 정보만 찾아서 사용할 수 있습니다. 일반적인 rdb나 noSQL보다 속도가 월등히 빠르며, 몇초 안에 TB를 스캔할 수 있습니다. 또한 Google Cloud Storage에서 데이터를 읽어 분석할 수 있습니다.
자체 클러스터를 구성하고 운영하는 수고로움은 덜고, 데이터 분석에만 집중할 수 있는 툴로 많은 기업들에서 데이터 웨어하우스로 도입하고 있습니다.
Rest API와 클라이언트 라이브러리가 준비되어 있습니다 ( python, java, c#, go, node.js, php, ruby )
Firebase 와 연동해서 사용할 경우 좋습니다! ( 모든 데이터가 누락없이 쌓이지만, 신경쓸 필요가 없습니다 )
Legacy SQL과 Standard SQL 2가지 방식으로 쿼리를 날릴 수 있습니다. key, index가 따로 존재하지 않고 Full Scan을 합니다.
BigQuery의 한계점
BigQuery는 분석, OLAP에 특화되어 있기 기 때문에 OLTP에는 부적합합니다. 적은 양의 데이터를 계속해서 입력하고, 업데이트 해야하는 작업에서는 오히려 성능이 떨어지는 모습을 보입니다.
BigQuery 시작하기
1. Google Cloud 회원 가입
2. Google 로그인
3. Project 생성 및 선택 (처음에 체험판 등록하면 300$ 제공)
4. BigQuery API 등록
