profile
Machine Learning Engineer: recsys, mlops
post-thumbnail

Prefect 핵심개념 - Projects, Labels, Storage

ETL작업의 개수는 시간이 지날수록 계속 늘어나 정신차려보면 몇백개가 되어있는 경우가 많다. 만약 ETL작업들이 같은 화면에 몇백개가 한번에 보인다면 큰 스트레스일 수 있다.이럴 때 작업들을 그룹단위로 묶어주게 하기 위해 prefect에는 Projects라는 상위 그룹

2021년 8월 31일
·
0개의 댓글
post-thumbnail

Prefect 주요 구조 - Agent, UI sever

prefect 구성 요소에는 크게 UI 서버, Agent가 있다. https://docs.prefect.io/orchestration위 그림은 프리펙트 클라우드 서비스를 쓸 경우의 구조도이다. 오른쪽 cloud ui가 prefect의 UI 서버이다. Flow,

2021년 8월 16일
·
0개의 댓글
post-thumbnail

Prefect란? - Task, Flow, Parameter

airflow와 같은 workflow orchestration tool인 prefect에 대해 알아보자.prefect는 데이터 파이프라인을 구축하는데 쓰인다.데이터는 만들어질 때 작업들 간의 dependency가 있는데 이것을 관리해준다.예를 들어 매출 데이터, 유저

2021년 8월 16일
·
0개의 댓글