1. Airflow를 왜 배워야하는가?

---

• 데이터 추출, 가공, 저장 분석 등 파이프라인을 관리할 수 있는 가장 인기가 많은 오픈소스 솔루션입니다.
• Orchestration -> Automation
• Luigi, Airflow, Kubeflow, MLflow, Argo 중 가장 인기가 많은 오케스트레이션 솔루션입니다.
• 데이터엔지니어는 파이프라인을 구성하고 관리합니다.
• 이 파이프라인의 핵심에는 에어플로우가 있습니다.

2. Airflow 소개

---

에어플로우는 파이썬을 이용해서 워크플로우를 만들고 관리할 수 있는 오픈소스 기반 워크플로우 관리 도구입니다. 2014년에 에어비앤비에서 만든 워크플로우 관리 솔루션입니다.

• Airflow 특징
  • 파이썬으로 제작된 도구이며, 이용자가 워크플로우 생성시에도 파이썬으로 구현해야함
  • 하나의 워크플로우는 DAG(Directed Acyclic Graph) 이라 부르며 DAG 안에는 1개 이상의 Task가 존재
  • Task간 선후행 연결이 가능하되 순환하지 않고 방향성을 가짐(=DAG)
  • Cron 기반의 스케줄링
  • 모니터링 및 실패 작업에 대한 재실행 기능이 간편