Airflow
: 데브코스 45일차 - MySQL복사하기, Backfill
공부 한 내용
- Airflow와 mySQL연동 및 redshift로 copy
새롭게 배운 내용
- Incremental update 방식의 코드 개선
느낀점&참고
: 과제가 추가로 있었는데 강사님의 코드와 크게 다르지 않아서 다행이였다. 또한 backfill을 염두해두고 DAG를 작성해야한다는 말씀이 와닿았다.
airflow를 다루면서 발생한 error들이 정말 많았다. 빠른 시일내에 발생했던 문제들과 해결 방법을 모아서 포스팅하려한다.
