prefect 기초부터 활용까지 

airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저

prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,

ETL작업의 개수는 시간이 지날수록 계속 늘어나 정신차려보면 몇백개가 되어있는 경우가 많다. 만약 ETL작업들이 같은 화면에 몇백개가 한번에 보인다면 큰 스트레스일 수 있다.이럴 때 작업들을 그룹단위로 묶어주게 하기 위해 prefect에는 Projects라는 상위 그룹

prefect clound는 run당 돈을 과금하는데 이게 헤비하게 사용하면 생각보다 부담이 될 수 있다 hourly 잡이면 효율적으로 쓸 수 있을 것 같은데, minutely job이 run당 과금 방식의 한계로 인해 상당히 돈이 아까워 진다.돈을 한푼이라도 아끼려면

왜 필요한지 이해하기 위해 예시를 들어보자. One flow 비트코인데이터를 RDS로 적재한 후 RDS에 쌓인 데이터로 주식 가격 예측을 위한 feature를 생성한다고 가정해보자. 이를 위해서 비트코인데이터를 RDS로 적재하는 task A를 만들었다. 또한 RDS에