profile
Jaytiger

BigQuery JSON Data Type

들어가며 BigQuery가 JSON을 문자열이 아닌 하나의 데이터 타입으로 지원하기 시작했다. 어떤 내용인지 살펴보자. [BigQuery Release Note]( https://cloud.google.com/bigquery/docs/release-notes#Janu

2022년 1월 7일
·
0개의 댓글
·

[BigQuery] Left Join using ON or WHERE

▷ 테이블 조인 개요 쿼리 리뷰를 하다보면 두 테이블을 결합(JOIN)하는 과정에서 선택(필터링) 조건을 ON 절에 기술하는 경우를 가끔 만나게 된다. 사소하긴 하지만 주의를 요하는 경우가 있어 간략히 정리하고자 한다. 결합(JOIN)방식에 따라서 필터링 조건을

2021년 12월 26일
·
0개의 댓글
·

BigQuery - Table Sampling

ML 모델을 학습시키기 위해서는 가끔 무작위 추출된 데이터셋이 필요한 경우가 생긴다. 이 경우 RAND() 함수를 사용하여 랜덤 샘플링을 하곤 한다. BigQuery에서 위의 방식이 가지는 문제점은 랜덤 샘플링을 위해서 전체 테이블을 스캔해야 하므로 이로 인한 시간

2021년 12월 3일
·
0개의 댓글
·

BigQuery Storage Internals

이 글은 아래 블로그의 내용을 번역한 내용으로 모호하게 정리된 부분은 원문을 참고하시 바랍니다.BigQuery Admin reference guide: Storage internals빅쿼리는 완전 관리형 스토리지를 제공한다. 이는 직접 서버를 프로비저닝할 필요가 없다는

2021년 11월 26일
·
0개의 댓글
·
post-thumbnail

BigQuery Hands-On #4 - ABC Analysis

ABC 분석은 재고관리에 사용되는 재고 분류 기법의 하나이다.1제품의 중요도에 따라 등급을 매기고 그에 따른 판매 전략을 세울 때 활용된다. 중요도는 매출에 따라 구분되며 20%의 제품이 80%의 매출을 차지한다고 알려진 파레토 법칙도 ABC 분석에 근거하고 있다.e

2021년 11월 25일
·
0개의 댓글
·
post-thumbnail

BigQuery Hands-On #3 - Fan Chart Analysis

BigQuery 시계열 분석 - Fan Chart Analysis 지난 핸즈온에서 시계열 분석의 일종인 Z-Chart 분석을 다루었다. 이번에는 시계열 데이터인 날짜별 매출액을 Fan Chart 시각화하여 상품의 매출 증가율을 비교 분석하는 과정을 다뤄본다. Fan

2021년 11월 25일
·
0개의 댓글
·

BigQuery - Bigtable을 External Table로 접근하기

Bigtable을 외부 데이터 소스로 External Table을 생성할 때 필요한 테이블 정의 파일 (table definition file) 다뤄보고 간단한 Poc를 통해 BigQuery로 Bigtable에 접근 가능한지 확인해 보자.Cloud Storage나 Go

2021년 11월 24일
·
0개의 댓글
·
post-thumbnail

BigQuery Hands-On #2 - Z Chart Analysis

규모있는 쿼리를 작성하기 위해서는 일관된 코드 구조와 스타일의 유지가 중요하다. 이 글의 예시는 다음 BigQuery 스타일 가이드를 참고하고 있다. BigQuery Style Guide기업의 매출과 같이 시간의 경과에 따라 변화하는 데이터로부터 실적이나 추이 등을 파

2021년 11월 23일
·
0개의 댓글
·
post-thumbnail

BigQuery Hands-On #1 - Kaggle Data Survey

이번 글에서는 간단한 BI(Business Intelligence) 분석을 진행하며 비즈니스 질문에 대한 답을 찾아가는 과정을 다뤄보고자 한다.BigQuery 언어에 익숙하지 않더라도 우선은 분석흐름에 익숙해지는 것을 목표로 제시된 쿼리들을 하나씩 실행하며 결과를 확인

2021년 11월 21일
·
0개의 댓글
·