[ML] MLOps - 구성요소

1. 데이터

데이터 수집 파이프라인

• Sqoop
• Flume
• Kafka
• Flink
• Spark
• Streaming
• Airflow

데이터 저장

• Mysql
• Hadoop
• AWS S3
• MinIO

데이터 관리

• TFDV
• DVC
• Feast
• Amudsen

2. 모델

모델 개발

• Jupyter Hub
• Docker
• Kuberflow
• Optuna
• Ray
• katib

모델 버전 관리

• Git
• MLflow
• Github
• Action
• Jenkins

모델 학습 스케쥴링 관리

• Grafana
• Kubernetes

3. 서빙

모델 패키징

• Docker
• Flask
• FastAPI
• Django
• BentoML
• Kuberflow
• TFServing
• seldon-core

서빙 모니터링

• Prometheus
• Grafana
• Thanos

파이프라인 매니징

• Kuberflow
• argo workflows
• Airflow