Big Query는
구글에서 제공하는 서비스 중 하나로써, 대용량 Dataset을 대회식으로 분석할 수 있는 웹 서비스이다.
대규모 데이터 저장 및 분석 플롯폼으로 일종의 데이터 웨어하우스라고 불린다.
(엄청나게 큰 DB의 일종으로 생각하면 편할 듯 싶다...)
최대 페타바이트 급의 데이터를 저장해서 관리 할 수 있을 정도로 수용가능한 데이터량이 어마어마하다...(KMGTP 할 때 그 P)
- 데이터 웨어하우스: 축적된 데이터를 모아 관리하는 장소
확장이 가능하며, 사용이 간편해서 개발자와 기업은 필요할 때 강력한 데이터 분석을 Big Query를 사용해서 수행 할 수 있다.
특징으로는
- 클라우드 서비스 중 하나이기 때문에 따로 설치/ 운영 해줄 필요가 없다.(NopOs)
간단하게 서비스 사용이 가능하다는 장점이 있지만, 유료이기 때문에 저장하는 데이터양이 많을수록 비용도 늘어난다.(그래도 다른 대용량 서비스들에 비해서는 비용이 저렴한 편)
- 이러한 특징 때문에 서버리스(Serverless)로써 운영되어 서버 운영을 할 필요가 없어 데이터 및 분석에만 집중 할 수 있게 된다.
- SQL 언어를 사용하기 때문에 쓰기 편하다.
기존에 RDBMS에서 사용되는 SQL 언어를 그대로 사용한다.
다른 서비스 (Hadoop이나 Spark등)들은 사용하는데 전문성이 어느정도 필요하지만, Big Query는 로그인 후 SQL만 수행하면 되기 때문에 상대적으로는 쉽게 사용 할 수 있다.
- 검색 속도가 빠르다.
RDBMS는 레코드 단위로 데이터를 저장 / Big Query는 컬럼 단위로 데이터를 뜯어내어 저장
즉, RDBMS는 데이터들은 선회하며 레코드 단위로 전체를 조회하지만
Big Query는 컬럼 기반 저장 방식이기 때문에 해당 컬럼(amount)만 조회하면 되서 빠른 검색이 가능하다.
또한 컬럼 단위로 저장된다는 점에서 데이터양이 늘어나도 같은 타입의 데이터들이 몰려서 저장되기 때문에 데이터 압축성도 높아 결과적으로 트래픽을 최소화 시킬 수 있게 된다.
- 데이터 복제를 통해 안정성이 제공된다.
3개의 복제본이 서로 다른 데이터 센터에 분산되어 저장되기 때문에 데이터 유실에 대한 위험이 적다.
desarollitor