📒 Snowflake

📌 Snowflake

• 2014년 클라우드 기반 데이터웨어하우스로 시작

  • 지금은 데이터 클라우드라고 부를 수 있을 정도로 발전
  • 글로벌 클라우드위에 모두 동작 -> 멀티 클라우드
  • 데이터 판매를 통한 매출을 가능하게 해주는 Data Sharing/Marketplace 제공
  • ETL과 다양한 데이터 통합 기능 제공

• 특징

  • 스토리지와 컴퓨팅 인프라가 별도로 설정되는 가변 비용 모델

    • Redshift 고정비용처럼 노드 수를 조정할 필요가 없고 distkey등의 최적화 불필요

  • SQL 기반으로 빅데이터 저장, 처리, 분석을 가능하게 해준다.

    • 비구조화된 데이터 처리와 머신러닝 기능도 제공

  • CSV, JSON, Avrp, Parquet 등과 같은 다양한 데이터 포맷을 지원

    • S3, GC 클라우드 스토리지, Azure Blog Storage도 지원

  • 배치 데이터 중심이지만 실시간 데이터 처리 지원

  • Time Travel : 과거 데이터 쿼리 기능으로 트렌드를 분석하기 쉽게 해준다.

  • 웹 콘솔 이외에도 Python API를 통한 관리/제어 가능

    • ODBC/JDBC 연결도 지원한다.

  • 자체 스토리지 이외에도 클라우드 스토리지를 외부 테이블로 사용 가능

  • Organizations

    • 한 고객이 사용하는 모든 Snowflake 자원들을 통합하는 최상위 레벨 컨테이너
    • 하나 혹은 그 이상의 Account들로 구성되며 이 모든 Account들의 접근권한, 사용 트래킹, 비용들을 관리하는데 사용된다.

  • Accounts

    • 하나의 Account는 자체 사용자, 데이터, 접근권한을 독립적으로 가진다.
    • 한 Account는 하나 혹은 그 이상의 Database로 구성된다.

  • Databases

    • 하나의 Database는 한 Account에 속한 데이터를 다루는 논리적인 컨테이너
    • 한 Database는 다수의 스키마와 거기에 속한 테이블과 뷰 등으로 구성되어있다.
    • 하나의 Database는 PB단위까지 스케일 가능하고 독립적인 컴퓨팅 리소스를 갖게 된다.
      -> 컴퓨팅 리소스를 Warehouses라고 부른다. Warehouses와 Databases는 일대일 관계 X

• Snowflake의 기본 테이터 타입

  • Numeric : TINYINT, SMALLINT, INTEGER, BIGINT, NUMBER, NUMERIC, DECIMAL, FLOAT, DOUBLE, REAL
  • Boolean : BOOLEAN
  • String : CHAR, VARCHAR, TEXT, BINARY, VARBINARY
  • Date and Time : DATE, TIME, TIMESTAMP, TIMESTAMP_LTZ, TIMESTAMP_TZ
  • Semi-structured data : VARIANT(JSON, OBJECT)
  • Binary : BINARY, VARBINARY
  • Geospatial : GEOGRAPHY, GEOMETRY
  • Array : ARRAY
  • Object : OBJECT

---

📌 Snowflake - 실습

Snowflake_LINK
회원 가입을 진행 하면 Snowflake를 $400 만큼 사용하거나 30일동안 무료로 사용이 가능하다.

무료 버전을 사용하게 되면 아래 화면처럼 XS사이즈의 Warehouses를 제공해준다.

• Snowflake 비용구조

  • 컴퓨팅 비용 : 크레딧으로 결정
  • 스토리지 비용 : TB당으로 계산
  • 네트워크 비용 : 지역간 데이터 전송 혹은 다른 클라우드간 데이터 전송 시 TB당 계산

• Snowflake Schema

  • Dev
    • raw_data
    • analytics
    • adhoc

• 초기 설정

  • Project -> Worksheets
  • 역할 ADMIN 확인
  • SQL Worksheet 선택
  • 화면 확인
  • AWS IAM 사용자 생성
  • AWS_KEY_ID/AWS_SECRET_KEY 이후 csv 파일을 다운로드 받아서 사용하면 된다.