Airflow를 세팅하고 CPU 점유율이 유독 높은 문제가 발생 하였다.
이유는 다음과 같다.
airflow.cfg를 보면 아래 3개의 항목이 있다.
- scheduler_heartbeat_sec
이 녀석은 스케줄러가 새로운 작업을 위해 dag을 실행하는 빈도를 의미한다. 기본은 5초로 되어 있다.
- min_file_process_interval
이 녀석은 DAG 업데이트 시간을 조정하는 것이다. 기본 값은 0이다.
- max_threads
Dag 구문을 분석하기 위해 병렬로 실행하는 프로세스 수.
이 세가지를 아래 처럼 세팅한다.
scheduler_heartbeat_sec=60
min_file_process_interval=60
max_threads=1