airflow강의

에어비앤비에서 개발한 워크플로우 스케줄링, 모니터링 플랫폼실제 데이터의 처리가 이루어지는 곳은 아님많은 회사에서 느끼는 공통적인 문제점워크플로우 관리문제 이전에는 cron script 등으로 워크플로우를 관리 이러한 기존 방식은 몇가지 문제가 있음실패복구 : 언제

1\. 크게 4가지의 모듈로 나눌 수 있다.2\. 메타스토어가 DAG의 정보를 담고있다.3\. 웹서버와 스케줄러는 이런 정보를 읽어오고 Executor로 보내 실행시킨다.4\. 이렇게 실행된 DAG의 task instance는 메타스토어로 다시 보내져서 상태를 업데이트

pip --version : anaconda3 밑에 있는지 확인pip install apache-airflow 입력airflow db init 입력airflow webserver -p 포트번호 : web UI 실행airflow users create --role Adm