슬기로운 통계생활, Airflow 마스터 클래스 강의학습 내용 정리
Airflow 소개
- 오픈소스 워크플로우 관리도구 with Python
Airflow 특징
- Python 사용
- 워크플로우 : DAG(Directed Acyclic Graph), DAG안에는 1개 이상의 TASK가 존재
- 비순환, 선후행 순서가 존재
- Cron 스케쥴
- 모니터링 / 알람 기능 간편
Airflow 장점
- 수평적 확장 가능, 쿠버네티스 아키텍처 지원
- 파이썬 라이브러리 활용 가능
- 목적에 맞게 커스터마이징 가능
Airflow 단점
- 실시간 워크플로 관리 부적합
다소Good한 데이터 엔지니어