Big-Query?
빅 쿼리(Big Query)란 구글 클라우드 플랫폼에서 지원하는 서비스 중 하나로 서버리스 기반의 데이터 웨어하우스이다.
표준 SQL을 지원하기 때문에 기존 SQL을 알고 있는 사용자도 손쉽게 사용이 가능하다.
빅 쿼리의 특징
-
빅 쿼리는 스토리지와 컴퓨팅이 분리되어 있기에 용량을 원하는 대로 계획할 수 있고 확장성 또한 뛰어나다.
데이터 크기에 관계없이 클라우드 데이터 레이크를 구축하고 동시에 빠르게 분석할 수 있다. -
빅 쿼리는 클라우드 서비스이므로 설치와 운영이 필요가 없다.
간단하게 클릭 몇 번으로 서비스 사용이 가능하고, 별도의 설정이나 운영이 필요가 없다. -
표준 SQL을 사용하기 떄문에 SQL 언어를 그대로 사용한다.
-
빅 쿼리는 안정성이 뛰어나다.
데이터 복제본을 3개로 만들어 서로 다른 데이터 센터에 분산시켜 저장하기 때문에 데이텅 대한 유실 위험이 적다. -
배치와 스트리밍 모두 지원을 한다.
한꺼번에 데이터를 로딩하는 배치 외에, 실시간으로 데이터를 입력할 수 있는 스트리밍 기능을 제공한다.
빅 쿼리의 사용용도
빅 쿼리는 데이터베이스에는 저장하기 어려운 데이터를 저장한다.
예를 들어 결제 로그 또는 테이블의 저장되어 있는 총 데이터 개수와 같은 것들을 저장을 해준다.
상품목록을 저장해 놓은 테이블이 있다고 가정을 해보자.
상품의 총 개수를 가지고 와야 한다면 쿼리문을 이용하여 테이블을 모두 긁어와 개수를 보내줘야 한다.
하지만 이는 데이터의 개수가 커지게 되면 매우 비효율적이게 된다.
그래서 빅 쿼리를 이용하여 상품이 한 줄 등록이 될 때마다 로그를 찍으면서 총 갯수를 업데이트를 시켜주는 방식으로 이용할 수 있다.
이렇게 되면 총 갯수는 항상 최신화가 될 것이고 필요할 때마다 최신화 된 데이터를 뽑아와 사용하면 되기 때문에 효율이 매우 좋아진다.
