Google Cloud의 IAM 및 Service Account에 대한 역할 부여에 대하여 알아본다.
Google Cloud Platform 에서 Compute Engine을 한 대 빌려 VSCode의 RemoteSSH를 통해 접속하는 방법
구글 클라우드의 VPC 기본 리소스들에 대하여 알아보고 실습으로 이해해본다.
클라우드 환경에서 대량의 sql 파일을 덤프하는 과정을 알아봅시다!
Google Dataform 소개 및 기본 활용법에 대하여.
🔹 0. INTRO 앞선 글(BigQuery Dataform으로 빅쿼리 데이터 플로우 자동화하기!)에서는 BigQuery에서 제공해주는 Dataform 이라는 서비스에 대해 알아보고 간단한 실습까지 진행해 보았습니다. 빅쿼리 데이터를 기반으로 자동화된 파이프라인을 만들어준다는 것 외에도 Dataform에는 매력적인 기능들이 많이 있는데요, 대표적인 것이 ...
GCS에 일정 간격으로 업로드되는 데이터를 BigQuery로 증분 처리하여 조회해보자!
GCP PubSub 서비스에 대한 개념 및 python을 통한 실습 튜토리얼!
🔹 0. INTRO 이전 글 'Google Cloud Pub/Sub 서비스의 핵심 개념과 실습 튜토리얼'에서는 Pub/Sub 서비스의 기초적인 내용을 살펴보았습니다. 이번 글에서는 Pub/Sub 토픽으로 전송된 메시지를 읽어 BigQuery 테이블에 직접 저장하는 방법을 다뤄보겠습니다. 🔹 1. BigQuery 테이블 생성 ▪ 1) 단일 스키마 토픽...