Model Troubleshooting

우상욱·2024년 3월 2일
0

DBT

목록 보기
6/16

Common Model issues


  • Query Errors
    • Syntax errors
    • Logic errors
  • Invalid references(개체 참조 오류)

Query errors


  • Misspellings / syntax issues
  • Non-standard SQL
  • Common SQL logic issues
    • Not Grouping by all non-aggregated columns
      집계되지 않은 모든 열을 기준으로 그룹화 하는 것을 잊거나,
    • Incorrect CTEs

Invalid references


  • Table / View named differently than expected
    DBT의 다양한 백엔드를 사용하면 생성된 테이블과 뷰를 다양한 방식으로 참조
    • Context name(Google Bigquery는 먼저 컨텍스트 이름 찾음)
    • Preceding underscore or periods (Databricks는 앞에 밑줄이 있는 테이블을 참조)
  • Referencing objects that have yet to be created
    • 일반적인 문제는 아직 생성되지 않은 개체를 참조하려고 할 때
    • DBT는 객체 생성 순서를 기준으로 참조하지만, 이를 발생시키지 않기 위해서 순환참조를 합니다.

Trouble shooting method


  • dbt run
  • View logs
    • logs/dbt.log
    • run_results.json
  • Viewing generated SQL
    • Running generated SQL manually
  • Verify fixes

오류 예시


profile
데이터엔지니어

0개의 댓글