airflow

프로젝트 진행 시, 전처리된 csv를 s3로 보내는 task에 넘기려고 하였다. 하지만 여기서 오류가 발생했다. 이런식으로 csv를 json으로 바꾸어서 전송하였다. Airflow의 XCom을 통해서 task간 output을 전달하는데, XCom은 일반적으로 Pytho

Airflow DAG를 작성중에 cathcup 변수를 default_args 단에서 작성해주었다.하지만 직접 대그를 실행시켰을 때는 처리되지 않은 날에 해당하는 DAG가 실행되는 것을 확인할 수 있었다.DAG 정의시 직접 변수로 넣어주니, 해결되었다. stackover