에어플로우

미루고 미뤄왔던 airflow와 dag, operator에 대한 정리를 할 시간이 온 것 같다.Apache Airflow는 데이터 파이프라인과 작업 워크플로우를 자동화하고 관리하기 위한 플랫폼이다. 주로 데이터 엔지니어링, ETL(Extract, Transform, L

Airflow의 depends_on_past 옵션과 "waiting for downstream" 동작은 DAG(Directed Acyclic Graph) 내에서 태스크의 실행 순서를 제어하는 중요한 기능입니다. 이 두 기능은 각각 태스크의 실행 제어를 돕는데, 이를 예