2026.04.12(Sun)

Apache Airflow 입문

DAG(Directed Acyclic Graph) : 방향 비순환 그래피

• Airflow에서 워크플로를 구성하는 작업 집합
• 작업과 작업 간 의존성으로 구성
• 메타데이터와 함께 생성

etl_dag = DAG(
	dag_id='etl_pipeline',
	default_args={"start_date":"2023-11-15"}
)

airflow tasks test <dag_id> <task_id> [execution_date]

DAG 는 순환하지 않는다. 한 번의 실행에서 각 1회만 실행된다.
Airflow DAG는 오퍼레이터, 센서 등 실행할 구성 요소들로 이루어져 있고, 보통 이를 task라고 한다.

1. from airflow import DAG
2. DAG 구성 요소에 적용할 속성들을 담은 기본 인자 딕셔너리 생성 - Airflow의 런타임 동작을 세미할게 제어
3. Python 컨텍스트 매니저를 사용해 DAG 객체를 정의한다.

command line VS python

command line

• Airflow process start
• DAG/Task 수동 실행
• Airflow 로그 정보 확인

Python

• DAG 생성
• DAG 속성 개별 편집

datetime 함수 인자로 연도, 월, 일을 각각 정수형 인자로 받아야 한다.

dag list 확인 : airflow dags list