과거 BigQuery 1.0 시절, non-standard SQL 즉, BigQuery SQL만 사용했음 BigQuery 2.0으로 바뀐 지금, 과거의 BigQuery SQL은 Legacy SQL로 naming되었고, Standard SQL을 지원하게 됨 Standar
Google 공식문서 BASE. PARTITION 나눠진 테이블로 생성 권한 BigQuery 테이블에서 데이터를 내보내는 권한 BigQuery 테이블에서 데이터를 내보내려면 bigquery.tables.export IAM 권한이 필요합니다. 사전 정의된 다음 각
1. 함수 호출 SAFE. 오류 대신 NULL이 반환 STRING 함수, 수학 함수, DATE 함수, DATETIME 함수, TIMESTAMP 함수, JSON 함수 등의 Scalar 함수에서 사용 가능 집계, 기간, 사용자 정의 함수에서 사용 불가 나누기 연산의 오류를
1_데이터유형 전체 데이터 유형 |데이터 유형| |--| |ARRAY| |BIGUMERIC| |BOOL| |BYTES| |DATE| |DATETIME| |FLOAT64| |GEOGRAPHY| |INT64| |INTERVAL| |JSON| |NUMERIC| |STRIN
WITH 반복적으로 사용할 (이름을 가진)Subquery 생성 UNBOUNDED PRECEDING UNBOUNDED FOLLOWING UNBOUNDED CURRENT 윈도우 함수 종류 AVG, COUNT, FIRSTVALUE, LASTVALUE, MAX, MIN
BigQuery Unnest | Array | Struct Google Analytics 및 Firebase 데이터 작업시 Cannot access field name on a value with type ARRAY 에러가 종종 발발함 BigQuery는 비정규화되었을
인과관계를 설명하기 위한 방법은 1) Potential Outcomes 2) Causal Graphical Models 가 존재함 1. Potential Outcomes 1. Ideal A라는 사람이 존재 Fact : 실제 과거에 X를 선택하여 얻은 현재의 결과 Y
Demand Forecasting Task Process before Time Series Analysis 1. EDA(Exploration Data Analysis, 탐색적 데이터 분석) 데이터 정합성 확인 결측치 확인 및 처리(Mainly use interpo
여러 Report Suite의 Days 혹은 Last Touch Channel 데이터를 추출하다 보면 각 Report Suite별로 추출될 행을 예측하여 한 행당 N행의 빈 행을 넣어줘야 하는 경우가 존재 Method #1. Python > 사용 불가 Report
REPORT BUILDER Granularity > 월 세부기간으로 월에 대한 날짜 범위를 선택한다고 가정합니다. 요청은 데이터 중 정확히 한 달의 가치를 기반으로 지표에 대한 합계를 보여줍니다. 요청의 날짜 범위가 한 분기일 경우 보고서는 세 개의 수치를 보여주며 각
mysql 사용자 추가 workbench 사용자 추가 (root 말고) 128 sudo /etc/init.d/mysql start 129 sudo apt purge mariadb-* 130 sudo apt purge mariadb-server 1
MariaDB 삭제 후 MySQL 설치 1. MariaDB 삭제 wsl 내에서 MariaDB가 켜있는 상황이었기 떄문에 stop으로 시작 후 삭제 진행 2. MySQL 설치
terminal 사용하여 중복 파일 삭제 원할 경우 fd ".\(1\)." -X rm -f -> fd : find -> regex : ".\(1\)." -> (1) 포함하는 파일 -> -f : force -> -i : interact(삭제하기 전 질문) -> rm :
프로그래밍 방식을 활용 참고 : General하게 Dataset 관리 하는 여러가지 방법이 기재되어있는 페이지 1. REST API 1.General _ REST란 Representational State Transfer 1) 자원을 2) 이름(자원의 표현)으로 구분하
비지도학습(Unsupervised learning)이란, 지도학습과 달리 training data로 정답(label)이 없는 데이터가 주어지는 학습방법을 말합니다. 아무도 정답을 알려주지 않은 채 오로지 데이터셋의 특징(feature) 및 패턴을 기반으로 모델 스스로
Google Research Casual Impact Bayesian structural model에 기반되어있고, 과거 데이터를 기반으로 미래 데이터를 예측하는 Model Intervention 이전의 모든 데이터를 포함하며, 실제 데이터와 Intervention
VS Code 오픈시 Ubuntu 서버가 아닌 Window 서버에서 오픈되는 경우가 존재 Ubuntu terminal에서 code . 로 VSCode 오픈했으나, Window 서버로 오픈되는 경우가 존재 어떤 방식으로 폴더가 연동되는 것인지, 혹은 wsl(\\wsl$)
Data Load Local Data Load 1. 데이터 다운로드 & 확인 2. BigQuery로 데이터 로드 > 데이터셋 생성 > bq : BigQuery 서비스를 사용하기 위한 명령들 제공 > bq 명령으로 행할 수 있는 작업들은 REST API 혹은 GCP
Data Type Int64 / Float64 64비트 영역의 컴퓨터 메모리에 2진수 형태로 저장됨 10진법으로 표현되는 숫자를 정확하게 표현해야 할 시에(재무계산) Numeric 사용 Numeric 숫자 앞에 NUMERIC을 기재하면 됨 NUMERIC + 문자열 형태