Airflow 클러스터 구축 및 운영

Airflow는 Python 코드로 워크플로우(workflow)를 작성하고, 스케쥴링, 모니터링 하는 플랫폼입니다. Airflow를 통해서 데이터엔지니어링의 ETL 작업을 자동화하고, DAG(Directed Acyclic Graph) 형태의 워크플로우 작성이 가능합니다

Python: 3.6, 3.7, 3.8Databases:PostgreSQL: 9.6, 10, 11, 12, 13MySQL: 5.7, 8SQLite: 3.15.0+Kubernetes: 1.16.9, 1.17.5, 1.18.6※ MySQL 5.x 버전은 여러 스케줄러를 실

에어플로우를 LocalExecutor를 사용해서 하나의 인스턴스에 실행시킨다면 인스턴스에 문제가 생겼을때 Airflow도 동작하지 않을 수 있는 문제가 있고, 인프라가 커졌을 때 확장이 힘들어서 Worker를 분리해서 Cluster를 구성하기로 결정했습니다.airflo