# Dataplex

4개의 포스트
post-thumbnail

Data Catalog - 프로젝트 간 데이터 세트 메타데이터 탐색

실습 순서1) 기존 데이터 환경에서 소유자 역할을 가지고 탐색2) 기존 데이터 환경에서 제한된 사용자 역할을 가지고 탐색3) Data Catalog를 사용하여 여러 프로젝트간 존재하는 데이터세트에 태그를 지정유의사항1) Data Catalog가 이제 Dataplex라는

2022년 9월 7일
·
0개의 댓글
·
post-thumbnail

Data Catalog 사용해보기

Data Catalog 는 Google Cloud의 Data Analytics 제품군에 포함된 확장 가능한 완전 관리형 메타데이터 관리 서비스데이터 자산 관리는 적절한 도구 없이는 시간과 비용이 많이 소요될 수 있다.Data Catalog는 조직이 데이터 자산을 찾고,

2022년 9월 7일
·
0개의 댓글
·
post-thumbnail

Dataflow SQL을 사용한 스트리밍 파이프라인 구축

Dataflow SQL을 사용해 Pub/Sub 스트리밍 데이터를 BigQuery 테이블 데이터와 join해볼 것이다.빅쿼리에 데이터 세트를 만들어주고 us_state_salesregions 테이블을 만들어준다.us_staste_salesregions.csv이 csv파일

2022년 9월 2일
·
0개의 댓글
·
post-thumbnail

BigLake

빅쿼리의 차세대 솔루션으로 데이터 웨어하우스 + 데이터 레이크의 형태BigLake 는 멀티 클라우드 스토리지 및 개방형 형식을 통해 균일하고 세분화된 액세스 제어를 제공하여 데이터 웨어하우스 및 데이터 레이크에 대한 데이터 액세스를 단순화하는 통합 스토리지 엔진BigL

2022년 8월 25일
·
0개의 댓글
·