Airflow 개요

소개

• 파이썬을 이용해 워크플로우를 만들고 관리할 수 있는 오픈소스 기반 관리 도구
• 2014년 에어비앤비에서 만듬

What is Airflow

• 배치 중심 워크플로를 개발하여, 예약 및 모니터링하기 위한 오픈 소스 플랫폼
• Python 프레임워크 사용하면 거의 모든 기술과 연결되는 워크플로우 구축 가능
• 웹 인터페이스로 작업흐름 상태 관리 용이
• 단일 프로세스 부터 분산 처리 설정까지 다양한 방식으로 배포 가능
• 워크플로우는 DAG(Directed Acyclic Graph)라고 부름

Why Airflow

• DAG로 프로그래밍하여 시작과 끝이 명확(방향성을 가짐)하고 CRON 기반 스케쥴링 가능한 워크플로 실행 가능
• 버전 관리 가능
• 여러 사람이 동시에 개발 가능
• 기능 검증 테스트 작성 가능
• 확장성이 뛰어남
• 인터페이스에서 로그를 검사하고 작업 관리 가능(실패 작업 재시도 간편)