Model Serving
serving
머신러닝 모델을 서비스화하는 것. 고객이 사용할 수 있는 형태로 만드는 것. input이 들어오면 output을 뱉는다.
ex. 추천서비스
이러한 serving은 아래의 두가지로 나뉠 수 있다.
Online Serving
단일 input을 받아서 단일output을 뱉는다.
Web Server
클라이언트의 request에 대한 적절한 response를 해주는 것.
ex)
클라이언트: 크롬 브라우저
서버: www.google.com
request/response: HTML request/HTML response
ML모델서버라면 클라이언트는 모델 예측 결과물을 요청하고 서버는 예측을 반환할 것이다.
API
라이브러리의 함수라고 생각하면된다.
기계와 사람의 소통창구이다.
Batch Serving
일정한 주기단위로 서빙하는 것
단순히 함수를 주기적으로 실행하면 된다.
이는 workflow scheduler(Air flow, Cron job)를 쓰면 자동적으로 실행된다.
중요한 것은 속력이 아니라 방향성, 공부하며 메모를 남기는 공간입니다.