BigQuery
1.BigQuery0. What is BigQuery
BigQuery 등장 배경 1.0. 데이터 저장 장소 Database: 데이터의 저장소 Table: 데이터 저장 공간 1.1. OLTP (Online Transaction Processing) MySQL, Oracle, PostgreSQL 같은 Database 거래를
2.BigQuery1. 쿼리 작성 전에
데이터에 대한 이해 먼저데이터가 어떻게 저장되어 있는가?어떤 데이터가 저장되어 있는가?컬럼의 의미는 무엇인가?\-> 데이터를 제대로 이해해야 효율적인 쿼리 작성이 가능해진다!1.1. 데이터가 저장된 형태 알아보기1) ERD (Entity Relationship Diag
3.BigQuery2. SELECT, FROM, WHERE
BigQuery = Google의 SQL. 다른 SQL문법과 거의 동일하다AS : 컬럼이나 테이블의 이름이 너무 길 때, AS를 사용하여 별칭 지정 가능SELECT \* : 모든 컬럼을 출력 \- 보통 데이터를 확인할 때 사용 \- 빅쿼리는
4.BigQuery3. 집계(GROUP BY, HAVING, 서브쿼리, ORDER BY, LIMIT)
\*\*\*\* 정리 \*\*\*\*집계하고 싶은 경우 : GROUP BY + 집계 함수 (COUNT, AVG, MAX 등)고유값을 알고 싶은 경우 : DISTINCT(컬럼)조건을 설정하고 싶은 경우 : WHERE / HAVING정렬하고 싶은 경우 : ORDER BY
5.BigQuery4. WHERE 절(NULL, AND, LIKE, IN), 집계( DISTINCT, COUNTIF, GROUP BY ALL)
NULL AND, OR LIKE IN DISTINCT COUNTIF
6.BigQuery5. 데이터 변환1 (About Data Type, CAST, SAFE_)
데이터 타입에 따라 데이터 변환을 위한 다양한 함수들이 존재한다숫자 / 문자 / 시간, 날짜 / Bool(참, 거짓) / Json / ARRAY 등보이는 것과 저장된 것의 차이가 존재한다.예) 빈 값 : " "일 수도 있고, NULL일 수도 있다 1 : 숫자 1일
7.BigQuery6. 데이터 변환2 (STRING 데이터)
문자열 (STRING) : "안녕하세요", "카이스쿨" 처럼 " "가 붙는 자료 타입대표적인 STRING 함수STRING 붙이기 함수CONCAT(컬럼1, 컬럼2, ...)SELECT\--CONCAT("안녕", "하세요") AS concat\-> "안녕하세요"STRING
8.BigQuery7. 데이터 변환 3 (날짜 및 시간 데이터)
날짜 및 시간 데이터 타입DATEDATETIME : DATE + TIME. 타임존 정보 XTIMESTAMP : 특정 시점에 도장 찍은 값. 타임존 정보 OUTC : 국제적인 표준 시간. 한국은 UTC+9Millisecond : 1/1000초Microsecond : 1
9.BigQuery8. 데이터 변환4 (조건문 함수 CASE WHEN, IF)
조건문 : 만약 특정 조건이 충족되면 -> 어떤 행동을 하도록 만드는 구문이다조건에 따른 카테고리화가 필요한 경우에 사용한다.조건에 따라 다른 값을 표시하고 싶을 때 사용한다.조건문 함수 : CASE WHEN IF조건문 함수가 사용되는 이유: 데이터 분석을 하다보면,
10.BigQuery 9. JOIN
서로 다른 데이터 테이블을 연결하는 것공통적으로 존재하는 컬럼(=Key)이 있다면, JOIN할 수 있다보통 id 컬럼을 Key로 많이 사용특정 범위(예: Date)로도 JOIN이 가능\-> 이는 데이터가 저장되는 형태에 대한 이해가 필요하다관계형 데이터베이스(RDBMS
11.BigQuery10. WITH문, PARTITION
WITH 구문 쿼리를 작성하다 보면 > 해당 예시처럼 쿼리가 복잡해지는 경우가 있다 이와 같은 경우, WITH 구문을 사용하여 가독성을 높여줄 수 있다 CTE (Common Table Expression)라고 표현 SELECT 구문에 이름을 정해주는 것과 유사 쿼리
12.ERROR Record.
쿼리 작성 과정에서 오류를 보고, 어떻게 해석하는지 아는 것도 매우 중요하다 디버깅을 잘하는 노하우가 될 수 있다 - what is 디버깅? Unrecognized name: eventdatetime; Did you mean eventdate? at [3:3] : e
13.Bigquery11. ARRAY, STRUCT, UNNEST
ARRAY, STRUCT 다음과 같이, 하나의 행에 여러 데이터가 포함된 형태를 ARRAY(배열), STRUCT(구조체)라고 부름 보통 Firebase, Google Analytics 4 데이터를 사용할 때 접하는 자료형 ARRAY, STRUCT와 같은 중첩된 형태의 데이터는 저장 용량이 효율적임 1. ARRAY ARRAY(배열)는 하나의 컬...
14.Bigquery12. PIVOT
PIVOT | $\to$ | ---| ---| ---| PIVOT은 다음과 같이 특정 축을 중심으로 회전시키는 것을 말함 PIVOT이 왜 필요한가? Row 수를 줄일 수 있음 보통 쿼리의 결과는 row가 길게 늘어진 형태로 저장됨. 이때 PIVOT해서 데이터를 저장하면 row를 줄일 수 있음 데이터 시각화에 편리함 또한 ...
15.Bigquery13. Window 함수
윈도우 함수 윈도우 함수(Window Function)은 분석 함수(Analytics Function)로 불리기도 함 Oracle에서는 분석 함수라 불리고 Postgre SQL, BigQuery에서는 윈도우 함수라 불림 윈도우 함수는 다음과 같은 경우에 유용한 함수 "A 유저의 전 주문 수량은 얼마나 될까?" "B 유저가 물건 구입하기 전에...