MLOps란?

Machine Learning + DevOps = MLOps
ML 시스템 개발(Dev)과 ML운영(Ops)을 통합하는 것을 목표로 하는 ML엔지니어링 문화 및 방식

DevOps

버전 관리	테스트 자동화	모니터링
데이터 버전 관리 모델 버전 관리	모델 학습 자동화 모델 성능 평가 자동화	서빙 모델 모니터링 데이터 변화 모니터링 시스템 안정성 모니터링

• 일반 DevOps와 가장 큰 차이점은 DATA

MLOps의 구성요소

데이터

데이터 수집 파이프라인	데이터 저장	데이터 관리
Sqoop, Flume, Kafka, Flink, Spark Streaming, Airflow	MySQL, Hadoop, Amazon S3, MinIO	TFDV, DVC, Feast, Amundsen

모델

모델 개발	모델 버전 관리	모델 학습 스케쥴링 관리
Jupyter Hub, Docker, Kubeflow, Optuna, Ray, katib	Git, MLflow, Github Action, Jenkins	Grafana, Kubernetes

서빙

모델 패키징	서빙 모니터링	파이프라인 매니징
Docker, Flask, FastAPI, BentoML, Kubeflow, TFServing, seldon-core	Prometheus, Grafana, Thanos	Kubeflow, argo workflows, Airflow

• 대부분의 기능을 제공
  • AWS SageMaker
  • GCP Vertex AI
  • Azure Machine Learning
  • Amazon SageMaker
  • vertex.ai
  • Azure Machine Learning