Airflow CPU 점유율이 높은 현상

code_able·2023년 12월 4일
0
post-custom-banner

Airflow를 세팅하고 CPU 점유율이 유독 높은 문제가 발생 하였다.
이유는 다음과 같다.

airflow.cfg를 보면 아래 3개의 항목이 있다.

  • scheduler_heartbeat_sec
    이 녀석은 스케줄러가 새로운 작업을 위해 dag을 실행하는 빈도를 의미한다. 기본은 5초로 되어 있다.
  • min_file_process_interval
    이 녀석은 DAG 업데이트 시간을 조정하는 것이다. 기본 값은 0이다.
  • max_threads
    Dag 구문을 분석하기 위해 병렬로 실행하는 프로세스 수.

이 세가지를 아래 처럼 세팅한다.

scheduler_heartbeat_sec=60
min_file_process_interval=60
max_threads=1
profile
할수 있다! code able

0개의 댓글