The Forex Data Pipeline(종속성 정의)

우상욱·2024년 3월 10일
0

Airflow

목록 보기
15/22

현재 DAG에는 종속성이 없는 것을 확인할 수 있습니다. 이 DAG의 종속성을 추가하기 위해서는, 추가적인 코드 작성이 필요합니다. downstream을 정의하기 위해서 이렇게 작성합니다.

is_forex_rates_available.set_downstream(is_forex_currencies_file_available)

하지만 더욱 간단하고, 직관적으로 작성하는 방법이 있습니다.

(
    is_forex_rates_available
    >> is_forex_currencies_file_available
    >> downloading_rates
    >> saving_rates
    >> creating_forex_rates_table
    >> forex_processing
    >> send_email_notification
    >> send_slack_notification
)

이렇게 작성할 수 있습니다.

profile
데이터엔지니어

0개의 댓글