1. Serving이란?
ML 모델을 서비스화 하는 것.
서비스 제공 방식
- HTTP API Request
- 챗봇과의 대화
- Netflix 영상 좋아요 버튼
- Youtube 구독 버튼
- 네이버 길찾기 버튼
....
...
서빙 단계에서 막히는 이유
- 모델 개발과 소프트웨어 개발의 방법과 괴리
- 모델 개발 과정과 소프트웨어 개발 과정의 파편화
- 모델 평가 방식 및 모니터링 구축의 어려움
서빙의 간편화를 도와주는 툴
- Seldon Core
- TFServing
- KFServing
- Torch Serve
- BentoML
