Airflow 로그 파일 삭제하기

(2024-06-09)

Airflow에서 발생되는 로그파일의 크기는 작지 않다. 이를 주기적으로 삭제하거나 백업하는 것에 대해 알아보자

Airflow 로그 위치

두 군데에 별도의 로그가 기록됨. 이를 주기적으로 삭제하거나 백업 (s3) 필요

[logging]
# The folder where airflow should store its log files
# This path must be absolute
base_log_folder = /var/lib/airflow/logs
 
[scheduler]
child_process_log_directory = /var/lib/airflow/logs/scheduler

Airflow 로그 위치 - docker compose

• docker compose로 실행된 경우 logs 폴더가 host volume의 형태로 유지

volumes:
	- ${AIRFLOW_PROJ_DIR:-.}/dags:/opt/airflow/dags
	- ${AIRFLOW_PROJ_DIR:-.}/logs:/opt/airflow/logs