[MLOps] 🍱 BentoML - 1

✨ 모델을 일단 만들고 나면 참으로 뿌듯하죠!
😏 그런데, 이 모델을 매번 로컬에서 띄우고 추론을 반복하는 일은 비효율적입니다.
😉 그리고, 다른 시스템이랑 연계도 어렵죠!

✔ 그래서 보통, 학습된 ML model은 따로 ML 추론 서버를 띄워 REST API를 활용하여 서빙합니다.
✔ 간단하게는 Flask / Django 등의 Python Web Framework를 활용하여도 ML model을 서빙할 수 있습니다.

🙌 그러나 오늘은...!

😎 사용은 간단하지만, 그 성능은 강력하다고 소문난 ML serving framework : bentoml을 간단히 다뤄보려 합니다 :)
(추후 기회가 된다면 Flask로 띄웠을 때와 간단한 성능 비교도 진행하면 재밌을 것 같네요.)

가볍게 시작해보겠습니다 :)

BentoML?

BentoML is an open platform that simplifies ML model deployment and enables you to serve your models at production scale in minutes.
https://docs.bentoml.org/en/latest/index.html

✔ 간단하게! PRODUCTION SCALE의 model serving을 가능하게 하는 플랫폼!
✔ 실제로 ML 모델을 운영 서비스에 서빙하다 보면, production에 적용한다는 것은 실제 local에서 테스트 하는 것과 많이 다릅니다.

• 😎 모델 딱 만들고, Jupyter Notebook에서 로컬 추론을 수행하면 다 이룬것 같지만...!
• 🤦‍♂️ 현실은 조금만 Serving 서버에 부하가 가도 터지고.. 심지어 하나의 모델에 부하가 집중되면, 잘 되던 옆 모델까지 같이 뻗어버리는... 상황도 종종 발생하곤 합니다... 🤔
  - 일례로, 예전에 사용했던 ML serving Engine 중 clipper라는 엔진이 있었지만 부하가 몰리면 실제 PRODUCTION 상황에서 엔진이 멈춰버리거나 크게 추론 속도가 저하되는 현상이 연속 발견되어 더이상 확장 사용하지 못한 경우가 있었습니다.

  https://github.com/ucbrise/clipper (안녕.. 다신 보지 말자..)

✔ 해당 상황에서 완벽한 에러의 원인은 추론하지 못했지만 (저는 해당 서비스의 이용자 입장이었기에), 어찌되었건 맹점인 부분은 부하 분산의 실패 였습니다.
✔ 어떻게 길게 길게 말했지만.. BentoML은 더 부하분산 쪽으로 강력하다고 이야기 하니, 기대가 됩니다. 🙌

Pre-Setting

✔ GPU 사용 가능한 Workstation : nvidia GTX 1660 Ti (GPU는 오늘은 없어도 OK!)
✔ IDE : VScode
✔ 관련 driver 설치
✔ 리눅스 커널 (WSL2 사용, 하단 참고 페이지에 WSL2 사용시 cuda 설치 페이지 첨부)
✔ bentoml v1.0 : 아직 정식 배포되지 않은 pre 버전입니다.
✔ anaconda 가상환경 사용

Tutorial

https://docs.bentoml.org/en/latest/quickstart.html

✨ 가볍-게 bentoml의 quickstart를 따라하며 해 봅니다.

anaconda 가상환경 on!

linux cmd 에서 bentoml 설치

✔ 아래 코드는 v1.0 기준으로, pre-release version 코드입니다.

pip install bentoml --pre

반찬 만들기 : 모델을 BentoML의 local model store(로컬 저장소)에 저장

🍖 아래 코드는 iris dataset으로 sklearn framework 기반의 SVM 모델을 학습하고, BentoML 로컬 저장소에 저장하는 코드입니다.
🍣 아하! 이렇게 보니 진짜 벤또(도시락)에 모델을 저장하는 느낌이네요 :)

import bentoml

from sklearn import svm
from sklearn import datasets

# Load predefined training set to build an example model
iris = datasets.load_iris()
X, y = iris.data, iris.target

# Model Training
clf = svm.SVC(gamma='scale')
clf.fit(X, y)

# Call to bentoml.<FRAMEWORK>.save(<MODEL_NAME>, model)
# In order to save to BentoML's standard format in a local model store
# bentoml.sklearn.save("iris_clf", clf)

# 03/21/22 22:43:57 INFO     [cli] Successfully saved                                 
                           # Model(tag="iris_clf:6tmyatnjdsg5kaav", path="/home/kang/bentoml/models/iris_clf/6tmyatnjdsg5kaav/")   

✔ 저는 위의 코드를 제 워크스테이션에서 수행하고, 아래와 같은 정상적으로 save 되었다는 결과를 리턴받았습니다.

모델 로드

✔ "latest"라는 tag를 활용하여 버전 관리를 하는 것으로 보입니다. (도커 이미지와 유사)

import bentoml
import numpy as np

iris_clf_runner = bentoml.sklearn.load_runner("iris_clf:latest")
iris_clf_runner.run(np.array([5.9, 3. , 5.1, 1.8]))

시제품 도시락 만들기 : Service 생성

✔ 아래 코드로 간단히 ML Serving 서버를 띄울 수 있습니다 :)

# service.py
import numpy as np
import bentoml
from bentoml.io import NumpyNdarray

# 이전 학습을 진행한 모델을 로드해주고,
iris_clf_runner = bentoml.sklearn.load_runner("iris_clf:latest")

# 위의 모델을 "runner"로 사용하는 "bentoml service"를 생성합니다. 
# 만약, runner가 여러개면, runners 인자의 list 안에 모두 정의하여야 합니다.
# 모든 모델을 가지고, "도시락을 싸는 거죠!"
svc = bentoml.Service("iris_classifier", runners=[iris_clf_runner])

# 그리고, 위에서 정의한 "bentoml service"를 어노테이션으로 사용하여, 추론 함수를 정의합니다.
# pre / post processing 로직도 정의합니다.
@svc.api(input=NumpyNdarray(), output=NumpyNdarray())
def classify(input_series: np.ndarray) -> np.ndarray:
    # Define pre-processing logic
    result = iris_clf_runner.run(input_series)
    # Define post-processing logic
    return result

✨ 말 그대로, 여러 모델을 "도시락으로 싸고", 그 도시락을 싸들고 어노테이션으로 "맛나게 서빙하면" 되네요 :)
😃 input과 output type은 위의 예시처럼 numpy.ndarray를 기본적으로 지원하며, 그 외에 pandas.DataFrame / PIL.Image를 지원한다고 합니다. 그 외에는 공식 문서 참조!

시제품 도시락 맛보기 : Serving!

✔ service.py를 기반으로 서빙!
✔ --reload 옵션은 소스에 변화가 생기면 재시작 없이 반영하는 옵션입니다 :)

bentoml serve ./service.py:svc --reload

😁 간단히 결과까지 확인!

import requests
res = requests.post(
    "http://127.0.0.1:3000/classify",
    headers={"content-type": "application/json"},
    data="[5,4,3,2]").text

print(res)
# 1

도시락 대량 판매 : Build & Serve!

😎 간단히 아래 yaml file을 작성하고,

# bentofile.yaml
service: "service.py:svc"  # A convention for locating your service: <YOUR_SERVICE_PY>:<YOUR_SERVICE_ANNOTATION>
description: "file: ./README.md"
labels:
    owner: bentoml-team
    stage: demo
include:
 - "*.py"  # A pattern for matching which files to include in the bento
python:
  packages:
   - scikit-learn  # Additional libraries to be included in the bento
   - pandas

✔ README.md 파일을 bentofile.yaml 파일과 같은 위치에 저장해줍니다.

touch README.md

😎 그리고, CLI에서 bento를 빌드합니다!

bento build

✔ bento list 명령어로 생성된 bento를 확인할 수 있죠 :)
✨ 도커 이미지 빌드와 같은 느낌!

bento list
Tag            Service      Path           Size       Creation Time 
 iris_classif…  service:svc  /home/kang/b…  15.42 KiB  2022-03-21    
                                                       15:23:23

🎉 드디어 완성된 Bento(이미지)로 production serving을 시작합니다!

bentoml serve iris_classifier:latest --production

😎 간단히 결과까지 확인!

import requests
res = requests.post(
    "http://127.0.0.1:3000/classify",
    headers={"content-type": "application/json"},
    data="[5,4,3,2]").text

print(res)
# 1

글을 정리하며

😁 오늘은 간단히에 초점을 더 깊게 둔 BentoML 튜토리얼을 진행해 보았습니다.
🍖 "도시락"이라는 의미 그대로 샥샥 싸서 그대로 Serving(판매)까지 수월히 진행할 수 있는 접근성 좋은 프레임워크임은 틀림없어 보입니다 :)

😋 다음 글에는 실제 의미가 있는 모델을 가져와서, 성능 비교도 해보고
(로컬이라서 가능할지는 모르겠습니다만...ㅎ) 좀 더 Advanced한 기능도 사용해보도록 하겠습니다!

참고 페이지

✔ https://www.lainyzine.com/ko/article/how-to-install-wsl2-and-use-linux-on-windows-10/

• WSL2 설치

✔ https://velog.io/@jaehyeong/WSL2-%EC%B4%88%EA%B0%84%EB%8B%A8-%EC%84%A4%EC%B9%98-%EB%B0%8F-CUDAGPU-%EC%84%A4%EC%A0%95-%EB%B0%A9%EB%B2%95

• WSL 사용시 Cuda 설치를 간단 명료히 설명해 주는 고마운 게시물입니다 :)

✔ https://zzsza.github.io/mlops/2021/04/18/bentoml-basic/

• 변성윤님의 개발 블로그 : 정말 잘 정리해 주셨다..!