[GCP] Datastream

DataStream이란?

사용하기 쉬운 서버리스 변경 데이터 캡처 및 복제 서비스

Datastream 특징

• 관계형 데이터베이스에서 데이터 스트리밍
  • DataStream은 MySQL, PostgreSQL, AlloyDB 및 Oracle데이터베이스에서 모든 변경 사항(삽입, 업데이트, 삭제)을 읽고 전송하여 BigQuery, CloudSQL, Cloud Storage, Cloud Spanner로 데이터를 로드 한다. 에이전트가 없는 Google 기반이기 때문에 발생하는 모든 이벤트를 실시간 스트리밍 할 수 있다.
• 소스 간에 정규화되는 데이터 유형
  • Datastream은 소스 데이터베이스 유형의 모든 이벤트 데이터 유형을 통합 Datastream 유형으로 정규화합니다. 다양한 소스의 이러한 무손실 데이터 유형 정규화는 데이터의 출처와 소스에 상관없이 다운스트림 처리를 더 쉽게 해준다.
• 스키마 드리프트 해결
  • 소스 스키마가 변경되면 Datastream에서 빠르고 원활한 스키마 드리프트 해결을 지원한다. Datastream이 파일을 순환하며 스키마가 변경될 때마다 대상 버킷에 새 파일을 만든다. 원본 소스 데이터 유형은 최신 버전의 스키마 레지스트리를 사용해 API 호출만 하면 된다.
• 보안 내재화 설계
  • Datastream은 전송 중 데이터를 보호하기 위해 여러 가지 안전한 비공개 연결 방식을 지원합니다. 또한 데이터는 전송 및 저장 중 암호화 되므로 데이터가 스트리밍되는 동안 보호되어 안심할 수 있습니다.

Datastream 기능

Datastream 장점

• 최소한의 지연시간으로 데이터 복제 및 동기화
  • 이기종 데이터베이스, 스토리지 시스템, 애플리케이션 전반에서 짧은 지연 시간으로 안정적으로 데이터를 동기화 하며, 소스 성능에 미치는 영향을 최소화합니다.
• 서버리스 아키텍처로 확장 또는 축소
  • 관리할 인프라가 없으며, 원할하게 확장 또는 축소할 수 있는 간편한 서버리스 방식의 서비스로 빠르게 준비하고 실행
• Google Cloud 서비스의 뛰어난 유연성
  • 최고의 Google Cloud 서비스로 조직 전체에서 데이터를 연결하고 통합하세요

Datastream 가격 책정

Datastream 사용 사례

실시간으로 언제든지 스트림변경
변경 데이터 캡처는 소스 데이터베이스에서 변경 이벤트를 읽고 데이터 대상에 쓰는 방식으로 데이터를 통합하여 작업이 이루어지도록 한다. Datastream은 oracle, mysql 데이터베이스에서 bigquery, cloud sql, cloud storage, cloud spanner로의 변경 스트림을 지원한다.