MLflow

MLflow 소개

• 유튜브 'PyCon Korea' MLflow를 이용한 머신러닝 프로젝트 관리. 박선준- PyCon Korea 2021 자료를 참고하였습니다.

1.1 머신러닝 프로젝트의 어려움

• 각 실험을 체계적으로 파악하고 관리하기가 어렵습니다.

• Tensorboard는 로컬 머신에서만 관리되고 있어 유출, 분실될 위험이 있습니다.

• 모델을 배포하는 것에 난이도가 있습니다.

• 연구자마다 프레임워크가 상이하고 모델 버전관리가 힘듭니다.

1.2 MLflow Tracking

Tracking

• 실험에서 사용된 소스코드(mlflow with git), 파라미터, metric 기록 및 조회

Project

• 실험을 재현 가능하도록 패키징

Models

• 머신러닝 모델을 패키징하고 서빙

사용 방법

1) Tracking Server 지정
2) metric, tag logging

• 외부 Database 연동 가능

• Tensorboard와 유사

• Tags : 실험에 Tag를 달아 원하는 실험 조회

• 파라미터와 metric의 상관관계 시각화

• Artifacts : feature importance 시각화

• 실험 이름 지정
• Model 저장 및 관리

1.3 MLflow Models

• S3에 저장된 모델 가중치
• 이를 mlflow.pyfunc 함수로 load

1.4 Serving with MLflow

• build-docker 명령어를 통한 flask 기반의 이미지화 기능
• ping, inference 두 종류의 endpoint 제공

• nginx, gunicorn, flask 기반
• cpu 연산

MLflow의 의미

• 배포 과정을 Mlflow를 통해 자동화하여 ML 프로덕트의 개발 속도를 증진시켰습니다.

MLflow 예제