[짧] Airflow의 구성 요소

헬리코박도·2022년 3월 26일
0

데이터 엔지니어

목록 보기
2/3

Airflow Scheduler

  • DAG를 분석
  • DAG의 예약 주기 확인
  • 예약 주기가 현 시점보다 이전이면 worker에 DAG의 task를 예약
  • 예약된 task의 업스트림 의존성(이전 태스크가 완료되었는지 여부) 확인
  • 의존성이 모두 해결된 상태면 실행 대기열에 추가함

Airflow Worker

  • 대기열에 예약된 task를 선택하고 실행함
  • 실행한 task의 결과를 반환함 결과는 Airflow 메타스토어(DB)에 저장됨

Ariflow Web Server

  • scheduler가 분석한 DAG 시각화
  • 사용자가 DAG를 실행시키고 결과를 모니터링할 수 있는 인터페이스 제공
profile
Data Engineer

0개의 댓글