1. 데이터
데이터 수집 파이프라인
- Sqoop
- Flume
- Kafka
- Flink
- Spark
- Streaming
- Airflow
데이터 저장
- Mysql
- Hadoop
- AWS S3
- MinIO
데이터 관리
- TFDV
- DVC
- Feast
- Amudsen
2. 모델
모델 개발
- Jupyter Hub
- Docker
- Kuberflow
- Optuna
- Ray
- katib
모델 버전 관리
- Git
- MLflow
- Github
- Action
- Jenkins
모델 학습 스케쥴링 관리
- Grafana
- Kubernetes
3. 서빙
모델 패키징
- Docker
- Flask
- FastAPI
- Django
- BentoML
- Kuberflow
- TFServing
- seldon-core
서빙 모니터링
- Prometheus
- Grafana
- Thanos
파이프라인 매니징
- Kuberflow
- argo workflows
- Airflow
