[Airflow] airflow 시작하기

설치하기

1. pip --version : anaconda3 밑에 있는지 확인
2. pip install apache-airflow 입력
3. airflow db init 입력
4. airflow webserver -p 포트번호 : web UI 실행
5. airflow users create --role Admin --username admin --email admin --firstname admin --lastname admin --password admin : 유저 생성
6. localhost:8080 접속 후 로그인.
7. airflow scheduler : 스케줄러 실행
8. airflow dags list : dag 리스트 확인
9. airflow tasks list dags이름 : dags안에 존재하는 task 리스트 확인
10. airflow dags trigger -e 2022-01-01 dags이름 : dag 실행하는 트리거 생성
    ( 2022-01-01 에 시작 )

aiflow webserver, scheduler kill

kill $(cat ~/airflow/airflow-scheduler.pid)
kill $(ps -o ppid= -p $(cat ~/airflow/airflow-webserver.pid))