Airflow - Workflow Management

Airflow는 작업흐름(workflow)을 빌드하고 실행할 수 있도록 해주는 플랫폼이다. 작업흐름은 DAG(Directed Acyclic Graph)으로 표현되며 태스크(Task) 라고 불리는 개별 작업들의 집합으로 이루어진다.이들 태스크들은 의존성과 데이터흐름을 고

DAG(Directe Acyclic Graph)은 Airflow의 핵심개념으로 태스크들을 모아 의존성과 관계에 따라 어떻게 그들이 실행될지를 구성한다.Example DAGs3가지 방식으로 DAG을 선언할 수 있다.Context Manager 안에서 암묵적으로 선언표준

DAG 할당 (Assignment) 모든 오퍼레이터와 태스크들은 하나의 DAG에 할당되어야만 실행이 가능하다. Airflow는 명시적으로 전달하지 않더라도 DAG을 추정할 수 있는 몇 가지 방법을 제공한다. with DAG 내에서 오퍼레이터를 선언하는 경우 @dag

Probblem Definition DAG Task에서 수행하는 작업의 대상에 동시성 제약 (Concurrency Limit)이 존재하는 경우 Airflow 에서 적절히 Throttling을 > 수백 개의 tasks 들이 주어지고, 동시에 수행 가능한 task의 수가