# cloud storage

minbrok

일전에 Cloud DLP와 Dataflow를 사용한 데이터 마스킹에서 데이터 마스킹을 다뤄본 적이 있다.이번엔 Data Fusion을 사용하여 데이터 마스킹을 해볼 것이다.우선 Cloud Storage 버킷을 하나 생성하고 input, output용 폴더를 하나씩 만들

minbrok

GCP의 대표적인 Workflow Orchestration 툴이라고 하면 Cloud Composer(Apache Airflow)를 말할 수 있지만 더욱 저렴한 Workflows라는 서비스가 있다.Workflows는 짧은 레이턴시의 event-driven 방식을 통해 애

minbrok

GCS to BigQuery 파이프라인 구축에서 이어지는 내용.앞의 포스팅과 같은 구조에서 'Cloud Storage에 지속적으로 쌓이는 csv파일들이 한 테이블에 계속해서 쌓이게끔 해줄 수는 없는가?'와 같은 요구조건이 있을 수 있다.ex) 한 달치 데이터가 계속해서

minbrok

Cloud Storage에 들어오는 데이터를 빅쿼리로 적재하게끔 트리거를 걸 수 있는 Functions을 테스트해보았다.샘플 데이터는 Sample CSV file 에서 받았다.다운 받은 CSV(633KB)빅쿼리에 데이터 세트와 테이블, Cloud Storage에 버킷을

minbrok

Datastream은 사용이 간편한 서버리스 CDC(변경 데이터 캡처) 및 복제 서비스.지연 시간을 최소화하면서 이기종 데이터베이스와 애플리케이션에서 데이터를 안정적으로 동기화할 수 있다.Datastream은 Oracle 및 MySQL,PostgreSQL 데이터베이스에

minbrok

Dataflow의 Pub/Sub Topic to BigQuery 템플릿을 사용해 스트리밍 파이프라인을 구축할 것이다.Pub/Sub으로 메시지를 게시하는 것은 우선 Cloud Scheduler를 사용하였다.Pub/Sub 주제를 하나 기본 구독을 하나 추가해서 만들어준다.

minbrok

Cloud DLP는 민감한 정보가 포함된 것으로 의심되는 모든 데이터에 대해 검사 및 익명화를 제공하는 Google Cloud 도구Cloud DLP는 InfoType을 사용하여 문서 내에서 발견될 수 있는 민감한 데이터를 인식한다. InfoType은 특정 유형의 데이터

minbrok

DAG를 통해 BigQuery 공개 데이터 세트의 ghcn_d 데이터와 S3 버킷에 저장된 CSV 파일을 join한 다음 Dataproc 배치 작업을 실행하여 결합한 데이터를 처리하여 빅쿼리에 적재하는 실습을 해볼 것이다.Composer 2 버전으로 환경을 생성해준다.

minbrok

빅쿼리의 차세대 솔루션으로 데이터 웨어하우스 + 데이터 레이크의 형태BigLake 는 멀티 클라우드 스토리지 및 개방형 형식을 통해 균일하고 세분화된 액세스 제어를 제공하여 데이터 웨어하우스 및 데이터 레이크에 대한 데이터 액세스를 단순화하는 통합 스토리지 엔진BigL

minbrok

Wrangler를 사용해서 파이프라인을 배포해볼 것이다.Wrangler자동 또는 반자동화 도구로 데이터를 쉽게 사용할 수 있도록 데이터를 사용하기 좋은 형태로 변경하는 사람을 데이터 Wrangler라고 한다.Data Fusion에선 이런 랭글링 작업을 간편하게 할 수

minbrok

Airflow가 지원하는 Operator중 GoogleCloudStorageToBigQueryOperator를 사용해 ELT 파이프라인을 구축해볼 것이다.내 버킷을 하나 생성해준다.git clone으로 해당 리포지토리를 받은 다음 이 파일들을 gsutil cp를 통해

minbrok

이미지를 Cloud Storage에 업로드하고 이를 사용하여 다양한 유형의 구름(적운, 적란운 등)을 인식하도록 커스텀 모델을 학습시킬 것이다.AutoML Vision의 사용하기 쉬운 그래픽 인터페이스로 간단하게 이미지를 업로드해 커스텀 이미지 모델을 학습시킬 수 있다

minbrok

사용해볼 API는 Vision API, Translation API, Natural Language API이다.Vision API를 호출해서 OCR을 사용하여 이미지에서 텍스트를 감지한 후 Translation API를 사용해 이미지의 텍스트를 번역, 마지막으로 Nat

minbrok

아래 csv파일 로컬로 다운로드products.csvecommerce Dataset생성, 테이블 생성 클릭로드된 데이터 탐색stockLevel이 가장 높은 상위 5개 제품 나열csv파일이 있는 cloud storage 경로를 넣어주어 생성재고 회전율을 기반으로 가장 재

faamica

플러터에서 Cloud Storage의 파일을 ref를 참조해서 지우면 된다.그런데 아래처럼 Storage에 폴더를 생성했을 때 (찾다보니 Storage는 실제로는 폴더 개념이 아니라는 것 같기도 하고)나중에 채팅방을 삭제하거나 회원이 탈퇴할 경우 폴더째 삭제하는 메소드

mythos

 Seafile Server 를 그대로 사용해도 좋지만 아쉽게도 micro SD 의 용량이 크지 않기에 대용량 파일을 많이 저장할 순 없다. 물론 요즈음엔 마음만 먹으면 1TB 크기의 microSD 도 구매할 수 있으나 가격이 만만치 않고, 속도 또한 빠르지 않다. 따

mythos

 이전 장에서 Seafile Server 를 구동시켜 접속하는 것까지 완료했다. 문제는 포트번호가 HTTP 포트(80) 가 아니라서 URL 에 직접 명기해야 하며, 또한 HTTPS 지원 역시 이뤄지지 않았다. 이번 장에서는 Nginx 를 통한 포트 포워딩, 그리고 HT

mythos

 1년 가까이 Seafile Server 를 운영하며 정말 만족스럽게 사용하였다. 작년 설치 했을 때가 8.0.7 버전이였는데 금년에 9.0.2 버전이 출시 되었고, Raspberry Pi 역시 Bullseye 운영체제 발표에 더해 64-bit 의 지원 또한

minbrok

api사용 설정사용할 변수 설정사용할 깃허브 저장소 clonepub/sub 주제 생성주제에 대한 pub/sub 구독 생성동영상 클립을 저장할 버킷 생성bucket용 pub/sub알림 생성데이터 세트 생성테이블 생성주제 생성구독 생성주제 생성구독 생성Apache Beam

minbrok

Cloud Composer는 데이터 분석 워크플로우를 오케스트레이션 해주는 Apache Airflow의 구글 클라우드 managed 리소스이다.Airflow프로그래밍 방식으로 워크플로를 작성, 예약 및 모니터링하는 플랫폼Airflow를 사용하여 작업의 DAG(Dire