# Dataflow SQL

2개의 포스트
post-thumbnail

Dataflow를 사용한 Kafka to BigQuery 스트리밍 파이프라인 구축

우분투 VM 하나 생성 후 아래 명령어 차례로 입력Apache Kafka 다운로드kafka와 zookeeper를 systemctl 명령을 사용하여 시작/중지하도록 설정zookeeper아래의 내용 추가kafka아래의 내용 추가새로운 변경사항을 적용하기 위해 systemd

2022년 9월 16일
·
0개의 댓글
·
post-thumbnail

Dataflow SQL을 사용한 스트리밍 파이프라인 구축

Dataflow SQL을 사용해 Pub/Sub 스트리밍 데이터를 BigQuery 테이블 데이터와 join해볼 것이다.빅쿼리에 데이터 세트를 만들어주고 us_state_salesregions 테이블을 만들어준다.us_staste_salesregions.csv이 csv파일

2022년 9월 2일
·
0개의 댓글
·