MLOps

모델 개발 프로세스

1. 문제 정의
2. EDA
3. Feature Engineering
4. Train
5. Predict
6. Deploy

MLOps

MLOps = ML (Machine Learning) + Ops (Operations)
: 머신러닝 모델을 운영하면서 반복적으로 필요한 업무를 자동화 시키는 과정. 머신러닝 엔지니어링 + 데이터 엔지니어링 + 클라우드 + 인프라.

• 머신러닝 모델 개발(ML Dev)과 머신러닝 모델 운영(Ops)에서 사용되는 문제, 반복을 최소화하고 비지니스 가치를 창출하는 것이 목표.

MLOps component

• Server Infra

  • 예상 트래픽
  • 서버의 GPU, Memory 성능
  • 스케일 업/아웃의 가능 유무
  • 자체 서버 구축/ 클라우드

• GPU Infra

  • 클라우드/ 로컬 GPU : AWS,GCP,Azure,NCP / 온 프레미스

• Serving

  • Batch serving: 많은 데이터를 일정주기로 한꺼번에 서빙

  • Online Serving: 실시간 예측, 병목이 있으면 안됨

    

• Experiment, Model Management

  • 파라미터, 모델 구조,....
    

• Feature Store
  

• Data validation

  • Feature의 분포 확인

• Continuous Training

  • Retrain

• Monitoring: 모델의 지표, 인프라 성능 지표

• Auto ML