airflow

특정 시간에 작업을 예약하는것, 즉 Linux 및 Unix 시스템에서 작업을 자동화하는데 사용되는 유틸리티입니다. crontab은 cron 데몬에 의해 로드되고 작업을 실행합니다.💡 필드의 형식분시간날짜월요일각 필드는 0에서 59사이의 숫자 또는 를 사용할 수 있습니

앞에서 설명드린 crontab이 있는데 왜 airflow를 사용할까요? airflow는 쉽게 말해서 과자공장을 만들어서 차질없이 잘 돌아가게 하는것입니다. 그리고 공장이 잘 돌아가는지 감시가 가능합니다. 🌺Airflow의 기본 개념 > Airflow는 Pytho

처음 로컬 컴퓨터에서 Airflow를 할때 환경의 일관성 부족이라던지, 로컬환경과의 충돌등의 문제로 도커에서 하게된다면 이러한 문제들을 해결할수 있지 않을까 라는 생각을 했습니다.

처음 혼자 연습했던 알라딘의 API를 이용해서 중고책들의 정보를 가져오는 코드를 통해서 매일 같은시간에 데이터를 받아오기 위해서 Airflow에서 간단하게 작업을 수행해보겠습니다. 알라딘의 api를 이용하기 위해서는 TTBKey를 사이트에서 발급 받아오셔야 합니다.

이전에 작성했던 게시물에서는 data라는 폴더에 csv파일로 저장만 했다면 이제 저장된 csv파일을 Airflow에 connection한 MySQL에 적재를 해보겠습니다.