Airflow

Airbnb에서 개발한 데이터파이프라인 오픈소스 워크플로우 관리 툴python으로 개발됐고 python으로 파이프라인 관리 가능스케쥴링, 배치 데이터 처리 등 다양한 작업을 자동화 하는데 사용DAG (Directed Acyclic Graph)를 사용해 워크플로우를 작성

Airflow는 task를 정의하고 task 간의 의존관계를 설정하여 DAG를 만들면 그 순서대로 작업을 실행시켜준다.task정의 방법에는 크게 세 가지가 있다1\. Operator2\. Sensor3\. Taskflowoperator는 가장 기본적은 airflow의

Airflow는 기본적으로 하나의 오퍼레이터의 결과가 다른 오퍼레이터에 영향을주지 않는다. 각각이 독립적으로 실행되기 때문에 서로 통신할 수단이 없다. 하지만 워크플로우를 만들다보면 이전 작업의 결과, 요소 등을 다음 작업에 전달할 경우가 생긴다. 이때 Xcom을 이용