Airflow Catchup, Backfill

Copes·2021년 11월 24일
0
post-thumbnail

Catchup and Backfill

2주, 즉 14일 동안 DAG를 실행한다고 가정해보자.

1일 수행 후 2일 차에서 멈추고, 5일 차에서 다시 수행하면
Catchup = True로 설정한 경우 수행되지 않았던(혹은 지워진) 3, 4, 5일차의 DAG RUNs이 모두 실행된다.
이를 원하지 않는 경우 Catchup = False로 설정해야 한다.

Backfill이 발생한다.

  • Backfill이란?
    과거부터 현재까지 실행되었어야 하는 DAG를 모두 실행한다.

0개의 댓글