Google Cloud는 AI 및 머신러닝 배경이 있든 없든 프로젝트에서 Generative AI를 사용하는 데 도움이 되는 몇 가지 사용하기 쉬운 도구들을 제공해준다.Vertex AI는 머신러닝 모델을 빌드, 배포, 관리하는 데 도움되는 Google Cloud의 엔드

VPC Service Controls란 Google managed service(ex) Cloud Storage, BigQuery)의 리소스 주위에 경계를 정의하는 방식으로 서비스에 대한 통신을 제어하여 경계 내의 리소스와 데이터를 보호하는 기술VPC Service C

데이터를 전송하는 오픈 소스 Bulk Data Loader. ETL에서 Transformation 외에 Extraction, Loading 에서 여러 plug-in을 제공.특징Input file format을 자동으로 인식병렬, 분산 수행 가능Transaction Co

레이원님의 Google STT API 사용방법 영상 참고 STT란 Speech-to-text로 말 그대로 말하는 것(음성)을 문자(텍스트)로 바꿔주는 AI기술이다. 환경 구성 Google Cloud 콘솔에서 Cloud Speech-to-text API를 검색한 후

Cloud Storage, BigQuery Private Access - Part 1에서 이어지는 내용Private Service Connect 엔드포인트를 연결하려면 아래의 권한들이 필요하다.Compute 네트워크 관리자 (roles/compute.networkAdm

데이터 플랫폼으로 GCP를 선택하는 경우 온프레미스 or 타 클라우드에서 Cloud Storage 및 BigQuery에 사설망을 통해 접근하고자 할 수 있다.이때 VPN을 사용할 수 있는데 VPN은 VPC끼리의 Private 접근을 위한 것.Cloud Storage,

BigQuery ML의 선형회귀 및 로지스틱 회귀에서 사용되는 옵션BigQuery에서 하고싶은 전처리 및 피처 엔지니어링을 모델 생성시 정의해서 평가 및 예측 때 자동으로 실행하는 SQL문신생아 데이터를 사용해 출산시의 아이의 체중을 예측해보는 모델을 생성해볼 것이다.

BigQuery 원격 함수는 Cloud Functions 및 Cloud Run과 BigQuery의 직접적인 통합을 제공하여 BigQuery 외부 소프트웨어에서 GoogleSQL 기능을 사용할 수 있는 것이다. 원하는 언어로 Cloud Functions 또는 Cloud

대표적인 VM 인스턴스 SSH 접속 방법은 아래와 같다.콘솔에서 SSH로 접속키가 있을 경우 키를 갖고 접속IAP 사용default 네트워크를 사용하는 경우 0.0.0.0/0에 대해 SSH가 허용되어 있지만 커스텀 네트워크를 사용하는 경우 방화벽에서 35.235.240

승인된 뷰를 사용하면 기본 소스 데이터에 대한 액세스 권한을 부여하지 않고도 특정 사용자 및 그룹과 쿼리 결과를 공유할 수 있다.일반 뷰 vs 승인된 뷰데이터 엔지니어링 팀은 로우 데이터의 많은 테이블이 있는 데이터 세트를 유지 관리하지만 이러한 테이블의 하위 집합을

DDoS 공격과 교차 사이트 스크립팅(XSS), SQL 삽입(SQLi)과 같은 애플리케이션 공격을 포함한 여러 유형의 위협으로부터 Google Cloud 배포를 보호할 수 있는 서비스.사실 클라우드의 LB를 사용하면 기볹거으로 엣지에서 DDoS 공격을 어느정도 방어해주

아래 사진처럼 Cloud Storage 버킷을 생성할 때라던지 타 리소스를 생성할 때 가끔 Data encryption 옵션에서 어떤 키를 사용하여 데이터를 보호할 것인지 선택할 수 있었을 것이다.보통 Google에서 기본적으로 관리해주는 key를 default로 선택

Dataproc Serverless를 사용하면 자체 클러스터를 프로비저닝하고 관리할 필요 없이 Spark 배치 워크로드를 실행할 수 있게 해준다.여기선 Dataproc Cluster에 Hive DB를 BigQuery로 마이그레이션 해볼 것이다.기존에는 이를 위해선 Co

보통 타 클라우드 플렛폼, 온프레미스에서 실행되는 애플리케이션 같은 경우 GCP API를 호출할 때 서비스 계정을 사용한다. 하지만 이는 보안적인 측면에서 위험성이 있다. 또한 조직의 클라우드상에서의 애플리케이션 배포와 같은 워크로드가 증가할 경우 키 관리에 있어서도

Dataplex란 데이터 레이크, 데이터 웨어하우스, 데이터 마트의 데이터를 중앙에서 관리, 모니터링, 제어하고 이 데이터를 다양한 분석 및 데이터 사이언스 툴에 안전하게 제공할 수 있는 지능형 데이터 패브릭으로 기존의 Data Catalog 서비스와 통합된 상품이다.

일전에 Cloud DLP와 Dataflow를 사용한 데이터 마스킹에서 데이터 마스킹을 다뤄본 적이 있다.이번엔 Data Fusion을 사용하여 데이터 마스킹을 해볼 것이다.우선 Cloud Storage 버킷을 하나 생성하고 input, output용 폴더를 하나씩 만들

GCP의 Database Migration Service를 사용해 AWS RDS - MySQL을 GCP의 Cloud SQL - MySQL로 마이그레이션 해볼 것이다.Database Migration API 활성화AWS에서 Customer Gateway를 통해 GCP로

GCP의 대표적인 Workflow Orchestration 툴이라고 하면 Cloud Composer(Apache Airflow)를 말할 수 있지만 더욱 저렴한 Workflows라는 서비스가 있다.Workflows는 짧은 레이턴시의 event-driven 방식을 통해 애

GCS to BigQuery 파이프라인 구축에서 이어지는 내용.앞의 포스팅과 같은 구조에서 'Cloud Storage에 지속적으로 쌓이는 csv파일들이 한 테이블에 계속해서 쌓이게끔 해줄 수는 없는가?'와 같은 요구조건이 있을 수 있다.ex) 한 달치 데이터가 계속해서

Cloud Storage에 들어오는 데이터를 빅쿼리로 적재하게끔 트리거를 걸 수 있는 Functions을 테스트해보았다.샘플 데이터는 Sample CSV file 에서 받았다.다운 받은 CSV(633KB)빅쿼리에 데이터 세트와 테이블, Cloud Storage에 버킷을