Airflow 소개 및 활용
- Apache Airflow의 기본 개념
- DAG(Directed Acyclic Graph)
- 스케줄링 및 모니터링
Airflow는 워크플로우 오케스트레이션 도구입니다.
복잡한 데이터 및 머신러닝 파이프라인을 시간 단위로 자동 실행, 관리, 모니터링할 수 있도록 도와줍니다.
Airflow에서 워크플로우는 DAG(방향 비순환 그래프) 구조로 표현
1.Task: 개별 작업 단위 (예: 데이터 불러오기, 모델 학습)
2. DAG: Task들의 흐름과 순서를 정의한 전체 구조
3. Operator: 작업의 종류 (PythonOperator, BashOperator 등)
