# BigQuery

gmlcks207

test

ryeonbeenk

다양한 데이터 분석으로 예측해본 다음 개봉 예정작, 과연 그 결과는?

shawnk123

해당 글은 google skillsboost를 통해 실습한 내용을 정리하였습니다.BigQuery의 샘플 데이터셋과 테이블 조회청구서 데이터에 간단한 쿼리 작성 및 실행Navigation menu -> BigQuery -> Explorer pane -> project I

shawnk123

해당 글은 google skillsboost를 통해 실습한 내용을 정리하였습니다.BigQuery 내 반구조화된 데이터(JSON, 배열 데이터 유형 수집)를 다룬다중첩 및 반복된 필드를 포함하는 단일 테이블로 스키마 비정규화성능 개선 가능배열 데이터 작업을 위한 SQL

acdongpgm

python 클라이언트 연동https://wooiljeong.github.io/python/python-bigquery/테이블 생성데이터 삽입데이터 조회데이터 삭제

moon_happy

행기반 데이터베이스열기반 데이터베이스데이터베이스를 공부하다보면 위처럼 두가지 종류의 데이터베이스를 만나게 됩니다

ssyyyoon

빅쿼리의 내부 작동에 대해 설명.빅쿼리는 구글 클라우드의 모든 리전에 걸친 여러 가용성 존에서 실행 중인 서로 연관된 여러 마이크로서비스가 수십만 개의 태스크를 실행하는 대용량 분산 시스템이다.(?) 무슨 소리인지 모르겠다. 저자 역시 모르는 게 정상이라고 알려준다(휴

ssyyyoon

다양한 방법으로 빅쿼리에 데이터를 로드할 수 있음.지정한 입력 패턴과 일치하는 파일을 모두 읽기그 값을 딕션넌리로 변환딕셔너리를 pull_fields 메소드로 전달해당 메서드가 필요한 데이터를 추출한 후 변형추출한 필드를 갖는 딕셔너리는 빅쿼리에 줄 단위로 전달됨.아파

ssyyyoon

다양한 방법으로 빅쿼리에 데이터를 로드할 수 있음.지정한 입력 패턴과 일치하는 파일을 모두 읽기그 값을 딕션넌리로 변환 딕셔너리를 pull_fields 메소드로 전달해당 메서드가 필요한 데이터를 추출한 후 변형추출한 필드를 갖는 딕셔너리는 빅쿼리에 줄 단위로 전달됨.아

caesars000

빅쿼리 테이블의 클러스터링에 관한 내용을 정리했습니다. 이슈 기존의 모든 테이블들은 날짜를 기준으로 파티셔닝 되있었지만 새로 만들 테이블은 파티셔닝을 적용하기가 어려운 상황이 생겼습니다. 회원 정보 테이블에서 '등급이 GOLD 인 유저를 추출' 이라고 하면 정수 범위나 시간 단위로 파티셔닝을 적용하기가 어렵습니다. 그렇다고 전체 테이블을 스캔하면 어마어마...

jaekyu_lim

쇼핑몰 로그 데이터 분석해보기 >8대로 구성된 하둡, 스파크 클러스터를 활용하여 데이터 분석 흐름도 (예상안) 데이터셋 - (eCommerce behavior data from multi category store) 데이터셋 구조 ![](https://velog.velcdn.com/images/jaek

ssyyyoon

빅쿼리로 로드하기 전, 원본 데이터를 어떻게 변환하면 좋은지 확인하기 위해 통합 쿼리를 연구 목적으로 사용할 때스프레드 시트의 데이터를 '대화형'으로 편집하기 위해 구글 시트에 보관하고, 쿼리 결과에 시트 내 실제 데이터를 반영하는 것이 필요할 때. 무슨소리인지 모르겠

moon_happy

최근 프로젝트를 하면서 직군을 나누었고 해당 해야하는 일 또한 배정하였습니다.

juro

회사에서 쿼리를 짜면서 코드를 좀 더 간결하게 만들어주는 나름 유용한 함수를 발견했다.보통 window 함수를 사용하고 해당 컬럼에 조건을 걸어주고 싶을 때, 다음과 같이 서브쿼리를 만들어야 했다.이해하기 쉽게 쿼리 예시를 하나 들어보자.user 테이블에서 서울에 사는

juro

파이썬에서 빅쿼리를 실행시키기 위해서는 우선 링크에서 구글 인증키를 발급받아야 한다.테이블 덮어쓰기 하는 경우, if_exists = ‘replace’테이블에 추가하는 경우, if_exists=’append’string type의 날짜 컬럼을 업로드하는 경우

liveandletlive

Google Cloud 함수를 등록해서 원하는 시간에 서버없이 데이터를 수집 해봅시다!

minbrok

VPC Service Controls란 Google managed service(ex) Cloud Storage, BigQuery)의 리소스 주위에 경계를 정의하는 방식으로 서비스에 대한 통신을 제어하여 경계 내의 리소스와 데이터를 보호하는 기술VPC Service C

minbrok

데이터를 전송하는 오픈 소스 Bulk Data Loader. ETL에서 Transformation 외에 Extraction, Loading 에서 여러 plug-in을 제공.특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction Co

hhb0

현금 없는 사회에서 지역 화폐에 따른 전통 시장의 매출 변화를 분석해보았다.

minbrok

Cloud Storage, BigQuery Private Access - Part 1에서 이어지는 내용Private Service Connect 엔드포인트를 연결하려면 아래의 권한들이 필요하다.Compute 네트워크 관리자 (roles/compute.networkAdm