
Docker-Compose를 활용한 window 환경에 Airflow 간단 설치 및 Dag 연동까지!
Docker Compose로 구축된 Airflow 시스템에 외부 패키지 추가 설치하기!

airflow Task의 선행, 후행 작업을 설정할 수 있는 setup과 teardown에 대한 이해!

Airflow의 XCom ObjectStorage Backend 설정하는 방법에 대하여 (AWS S3, Google Cloud Storage)
0. INTRO 모든 워크플로우 자동화 도구가 그렇듯, Apache Airflow에서도 테스크(Task) 간에 데이터를 주고받아야 하는 상황이 빈번하게 발생합니다. Airflow에서는 이를 위해 XCom(Cross-Communication)이라는 메커니즘을 제공합니다. XCom이란? XCom은 Airflow의 메타데이터베이스에 저장되는 작은 데이터 조각...

데이터 파이프라인을 운영하다 보면 "매일 새벽에 ETL을 돌리고 싶다", "평일 오후에만 리포트를 생성하고 싶다", "3일마다 한 번씩 배치를 돌리고 싶다" 같은 요구가 생깁니다. Apache Airflow에서는 DAG의 schedule 파라미터로 이런 실행 주기를 정