AirFlow

데이터 파이프라인을 작성, 스케줄링 및 모니터링하기 위한 오픈 소스 플랫폼. 주로 ETL(추출, 변환, 로드) 및 데이터 워크플로우 자동화에 사용

https://velog.io/@jskim/Airflow-개발환경-셋팅하기-on-Docker이 분의 블로그를 많이 참고하였습니다! 감사합니다 :)에어플로우에서 로컬 mysql 연결에어플로우에서 docker postgresql 연결docker에서 mysql li

Apache Airflow에서 XCom (Cross-Communication)은 서로 다른 태스크들 간에 메시지나 작은 데이터를 공유하는 메커니즘. XCom은 DAG 내의 태스크들이 서로 통신하고 데이터를 교환할 수 있도록 도와준다.Push: 한 태스크가 특정 값을 X

오늘은 airflow를 통해 5분간격으로 데이터를 넣어보는 작업을 진행했다.일단 upbit의 코인데이터를 5분 간격으로 데이터를 적재했다.당연히 중복데이터를 제거하고 새로운 데이터만 받아왔다!일단 라이브러리 다 임포트 해줬다. 저번에 airflow 웹에서 커넥트 설정했

api호출 하기 위한 방법airflow.cfg파일에서 이 부분을 건드려야한다.session으로 하는 방법은 web UI에서 쿠키를 찾아 session을 직접 잡아주는 거다.하지만 이 방법은 로그인 할 때마다 변경되므로 추천 하지 않음.이 방식은 인증 비활성화 하는 방법

Admin 에서 만든 dag을 A,B 등의 시스템에선 볼 수 없게 하기 위해A프로젝트가 만든 dag을 B프로젝트에선 볼 수 없게 하기 위해 등등일단 기본적인 샘플 코드다.다음은Airflow Web UI > Security > List Roles > User 체크 후 상