✅ Google Cloud Scheduler
scheduler로 빈도를 설정해 원하는 작업을 예약걸어 실행시킬 수 있다.
이때 빈도는 unix.cron 형태로
다음 과정을 거친다.
예시는 다음과 같다.
만일 6월 1일부터 9일까지 원하는 작업을 매일 자정에 처리한다면 다음과 같다.
0 0 1-9 6 *
이번 프로젝트를 진행하면서 전체적인 파이프라인은 다음과 같다.
1. 적재하고자 하는 데이터 crontab으로 자동화하여 GCS에 적재
2. GCS에 적재된 데이터 workflow (cloud scheduler, cloud function) 만들어 Bigquery에 데이터 적재 자동화
3. Bigquery에서 대시보드로 보여줄 데이터만 가공하여 테이블 생성 후 Power BI와 연동해 해당 테이블 대시보드화 진행
4. 대시보드 구축 완료되면 Bigquery로 예약쿼리를 걸어 대시보드 update 자동화 가능
To be a DataScientist