[69일차]dbt 설치 및 환경설정

김준석·2024년 3월 1일

dbt 사용절차

  1. dbt 설치
    1. dbt Cloud vs. dbt Core
    2. git을 보통 사용함
  2. dbt 환경설정
  3. Connector 설정
    1. Connector가 바로 바탕이 되는 데이터 시스템 (Redshift, Spark, …)
  4. 데이터 모델링 (tier)
    1. Raw Data -> Staging -> Core
  5. 테스트 코드 작성
  6. (필요하다면) Snapshot 설정

설치 진행!

  1. 설치 링크 : https://docs.getdbt.com/guides
    • Cloud 버전: dbt Cloud⭐
    • 로컬 개발 버전: dbt Core
  2. dbt 설치.
    • Redshift 로 진행
    • pip.ex를 powershell로 띄어서 .\\pip3 install dbt-redshift명령어 입력 (이때 파이썬 PIP.ex 가 깔려 있어야 된다.)
      • 위의 명령은 dbt-core 모듈도 설치해준다.

  1. dbt 환경 설정 - dbt init
    1. .\dbt init learn_dbt 명령어 사용.
    • Redshift 연결 정보

● Schema: dev
● Port: 5439
● Login: 본인의 ID 사용
● Password:본인의 패스워드 사용

dbt 설치 후 각 선택 사항이 나온다.

  • 무엇을 사용할 것인가?
    • 우리는 Redshift를 사용하기에 1 택
    • Redshift host 입력
    • Redshift passoword 입력 등.

그럼 아래와 같이 파일과 폴더가 설치된다.

❖ dbt_project.yml: 메인 환경 설정 파일
❖ models
❖ seeds
❖ tests
❖ snapshots
❖ macros
❖ analyses
❖ README.md

환경설정 진행!

  1. ~/.dbt/profiles.yml
    1. 프로젝트 이름과
      target: 부분에 어떤 환경인지 선택.

0개의 댓글