BigQuery는 엄청나게 큰 데이터에 대한 SQL 눠리를 빠르게 수행해주는 Platform의 서비스 중 하나이다. 무려 페타바이트에 달하는 제이터도 빠르게 분석할 수 있다.
이런 성능 덕분에 대규모 데이터 세트를 효율적으로 분석하고 거의 실시간으로 유용한 정보를 얻을 수 있습니다.
분석 기능
- 임시 분석
- 지리정보 분석
- 머신러닝 -> BigQuery ML에서는 표준 SQL 쿼리를 사용하여 BigQuery에서 머신러닝 모델을 만들고 실행할 수 있습니다.
- 비즈니스 인털리스
스케일의 인프라를 통한 대용량 지원과 빠른 성능
위키피디아에서 100billion record를 스캐닝해서 문자열을 찾아내서 그 문서의 뷰수를 카운트 하는 예제이다.
대략 4TB 용량의 데이터가 핸들링 되고, 30초가 소요된다.
데이터 복제를 통한 안정성
데이타는 3개의 복제본이 서로 다른 3개의 데이타 센터에 분산되어 저장되기 때문에 데이터 유실 위험이 적다.
what is rest api
it is an pllication programming interface that conforms to the contraints of REST architextural style and allows for interaction with RESTful web services.
REST stands for representational state transfer.
배치와 스트리밍 모두 지원
한꺼번에 데이타를 로딩하는 배치 이외에도 REST API등를 통해서 실시간으로 데이타를 입려ㅛㄱ할 수 있는 스트리밍 기능을 제공하면, 스트리밍시에는 초당 10000개의 행의 테이타를 입력할 수 있다.
Hadoop이나 Spark등을 사용하게 되면, 저문성이 필요하다. 결구 사용하기 쉽다.
