MLOps

ML 시스템 개발(Dev)과 운영(Ops)을 통합하는 것을 목표로 하는 ML 엔지니어링 문화 및 방식

서비스화 -> 성능 저하 여부 / 시스템 문제 발생 여부/데이터 분포 변화 모니터링 / 데이터 백업 etc
-> 단방향 흐름의 문제

이를 해결하기 위해 MLOps 탄생
ML + DevOPs = MLOps

• 버전관리
  - 데이터 버전
  - 모델 버전
• 테스트 자동화
  - 모델 학습 자동화
  - 모델 성능 평가 자동화
• 모니터링
  - 서빙 모델 모니터링
  - 데이터 변화 모니터링
  - 시스템 안정성 모니터링
  AI service = ML + data (model < data가 중요)

데이터 수집 파이프 라인 - sqoop,flume,kafka,flink,spark streaming,ariflow ...

데이터 저장 - Mysql, Hadoop ...

데이터 관리 - TFDV,DVC ...

모델 개발- jupyter hub,docker,kubeflow,optuna ...

모델 버전 관리- Git , MLflow,jenkins ...

모델 학습 & 스케줄링 관리 - Grafana,Kubernetes ...

모델 패키징 - docker,flask,fastAPI,kubeflow ...

서빙 모니티링 - prometheus,grafama ...

파이프라인 매니징 - kubeflow,argo,workflows,airflow