product serving - 1.2 MLOps 개론

• Infra

  • 예상하는 트래픽
  • CPU, memory 성능
  • 스케일 업, 스케일 아웃
  • 자체 서버 구축(온프레미스) vs 클라우드 서비스

• Serving

  • batch serving
    일정한 주기단위로 결과물이 나온다.
  • online serving
    실시간으로 input이 들어가고 실시간으로 output이 나온다.

• Experiment, Model Management
  실험을 여러번 하게 되는데 여러 모델의 정보, 가중치, 성능등의 실험과 모델의 정보를 관리하는 것이다.

  • mlflow, wandb, neptune, comet, Valohai

• Feature Store
  feature를 미리 가공해서 저장해놓는것. 주로 tabular 데이터에 많이 쓴다.

  • FEAST

• Data Validation
  모델을 학습할 때와 비슷한 분포의 데이터가 입력으로 들어오는지 확인하는 작업

  • Data Drift
  • Model Drift
  • Concept Drift
  • TFDV(Tensorflow Data Validatation)
  • AWS Deequ

• Continuous Training
  다시 학습하는 과정. retrain

• Monitoring
  서빙한 모델의 지표, 인프라의 성능지표를 기록하는 것

• AutoML
  자동으로 모델을 만들어준다.

앞으로의 강의에서는 위의 전체적인 프로세스중 infra, serving을 공부하게된다.