snowflake 운영과 관리
2014년에 클라우드 기반 데이터웨어하우스로 시작됨
지금은 데이터 클라우드라고 부를 수 있을 정도로 발전
글로벌 클라우드 위에서 모두 동작 - 멀티 클라우드
데이터 판매를 통한 매출을 가능하게 해주는 data sharing/ marketplace
etl과 다양한 데이터 통합 기능 제공
snowflake 특징
스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델
sql 기반으로 빅데이터 저장,처리,분석을 가능
csv,json,avro, parquet 등과 같은 다양한 포맷 지원
배치 데이터 중심이지만 실시간 데이터 처리 지원
time travel : 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해줌
웹 콘솔 이외에도 python api를 통한 관리/제어 가능
자체 스토리지 이외에도 클라우드 스토리지를 외부 테이블로 사용 가능
organizations
한 고객이 사용하는 모든 snowflake 자원들을 통합하는 최상위 레벨 컨테이너
하나 혹은 . 그이상의 acccount들로 구성되며 이 모든 account들의 접근권한, 사용트래킹, 비용들을 관리하는데 사용됨
Accounts
하나의 Account는 자체 사용자, 데이터, 접근권한을 독립적으로 가짐
한 account는 하나 혹은 . 그이상의 database로 구성됨
databases
하나의 데이터베이스는 한 account에 속한 데이터를 다루는 논리적인 컨테이너
한 database는 다수의 스키마와 거기에 속한 테이블과 뷰등으로 구성되어 있음
하나의 database는 pb 단위까지 스케일이 가능하고 독립적인 컴퓨팅 리소스를 갖게됨.
컴퓨팅 리소스를 warehouses라고 부름. warehouses와 databases는 일대일 관계가 아님
가변비용 웨어하우스는 스토리지와 컴퓨팅 리소스가 나누어짐.
스노우 플레이크가 딱 그럼
컴퓨팅 리소스를 warehouse라 부름
snowflake 특징
-
Data Marketplace
데이터 메시 용어가 생기기 전부터 데이터 마켓플레이스라는 서비스 제공 -
Data sharing
데이터 셋을 사내 혹은 파트너에게 스토리지 레벨에서 공유하는 방식
