airflow의 싱글 노드 멀티 노드 아키텍쳐

Single Node Architecture

하나의 노드 안에서 모든 것이 이루어짐. 그러나 여러가지의 task를 동시다발적으로 진행하는 프로덕션 단계에서는 한계점이 명확하다.

Multi Node Architecture

마스터 노드와 메타 정보 노드와 워커 노드를 정의한 아키텍쳐
워커 노드를 통제하는 마스터 노드를 통해 여러가지 업무를 동시다발적으로 수행할 수 있다.

멀티 노드 아키텍쳐에서의 역할

WEBSERVER: 메타 데이터와 상호작용 및 DAG trigger UI를 보여주는 역할.
Scheduler: Dag file들을 sync 해서 작업들의 스케쥴 할당하는 역할
Executor: task instance를 실행하는 주체 > 큐와 상호 작용 및 워커에 작업을 수행시킴.

how it works?