실행 환경 관리
환경 변수 관리하기
- WebUI를 이용해서 관리하기 (Admin > Variables,Connections를 활용)
- CLI 환경에서 수행하기.
docker-compose.yml에서 환경변수를 다음과 같이 설정 가능하다.
- Variables : AIRFLOW_VAR_VARNAME: "var"
- Connections: AIRFLOW_CONN_CONNAME: "URL"
실행 환경 관리방법
- 환경설정 값들의 관리와 배포가 문제가된다.
- docker-compose.yml에서 정의해서 관리
- credentials전용 Secrets 백엔드를 사용하기도 한다.
- 어디까지 Airflow 이미지로 관리하고 무엇을 docker-compose를 통해 관리해야할지 생각하는 것이 중요하다. (프로덕션에서는 Dags까지 포함해서 이미지를 생성하는 것이 좋다고 한다.)
.airflowignore
- airflow.cfg의 dags_folder가 가리키는 폴더를 스캔해서 DAG모듈이 포함된 모든 파이썬 스크립트들을 실행해버린다. → 문제
- Airflow가 의도적으로 무시해야하는 DAG_FOLDER의 디렉토리 또는 파일을 지정한다.
- 각 줄은 정규식 패턴으로 지정된다.
ELT (공사중)
Airflow-Slack 연동하기 (공사중)
1. Slack app 생성하기
우선 slack app을 생성해야한다. 다음 링크를 참고해서 등록 및 테스트를 진행한다.
: https://api.slack.com/messaging/webhooks
