post-thumbnail

Airflow Xcom 인터페이스

Airflow는 기본적으로 하나의 오퍼레이터의 결과가 다른 오퍼레이터에 영향을주지 않는다. 각각이 독립적으로 실행되기 때문에 서로 통신할 수단이 없다. 하지만 워크플로우를 만들다보면 이전 작업의 결과, 요소 등을 다음 작업에 전달할 경우가 생긴다. 이때 Xcom을 이용

2022년 1월 28일
·
0개의 댓글

Airflow 시작하기

Airbnb에서 개발한 데이터파이프라인 오픈소스 워크플로우 관리 툴python으로 개발됐고 python으로 파이프라인 관리 가능스케쥴링, 배치 데이터 처리 등 다양한 작업을 자동화 하는데 사용DAG (Directed Acyclic Graph)를 사용해 워크플로우를 작성

2022년 1월 28일
·
0개의 댓글