ML_FLOW

양승천·2022년 12월 19일
0
  • ml_flow 개념이해

  • ml_flow 4가지 컴포넌트 기능을 알기
    - ml_flow Tracking
    - 어느 환경에서나 사용 가능하며 공유 가능함

    • ml_flow Projects
      • git repository 비슷하다.
    • ml_flow Models
      • 모델을 모델 파일과 코드로 저장
        • 다양한 플랫폼 에 배포 가능한 여러 도구 제공
    • ml_flow model registry
      • 모델을 저장,관리하는 저장소
        • 생성 모델 serving 할때 사용함

    ml_flow 구성요소

  • ml_flow 서버와 클라이언트 실행 방법

  • 기록해 두어야 할것
    - 모델 소스코드 , 하이퍼 파라미터

    • 활용한 라이브러리 데이터 전처리 코드

ml_flow 핵심기능

  • Experiment Management and Tracking(실험 관리와 트래킹)
    머신러닝의 metric, loss 등의 실험 내용들을 추적하여 각 실험들의 내용과 결과 저장
    하나의 MLflow 서버를 두고 여럿이서 각자 자기 실험을 한 곳에 저장할 수도 있음
    실험 내용 뿐만 아니라 실험에 사용한 코드, 하이퍼파라미터, 가중치 파일 등도 저장
  • Model Registry(모델 저장소)
    MLflow로 실험을 진행한 모델들을 model registry라는 저장소에 등록할 수 있음
    이 때 버저닝이 자동으로 기록되고, 저장소에 등록된 모델은 다른 사람들에게 쉽게
    공유가 가능
    ML 실험의 github나 도커 같은 역할을 함
  • Model Serving(모델 배포)
    model register에 등록된 모델을 REST API 형태의 서버로 Serving할 수 있음

• 공식 문서
https://mlflow.org
https://mlflow.org/docs/latest/models.html#scikit-learn-sklearn
https://www.mlflow.org/docs/latest/concepts.html

  • 디렉토리 생성후 가상황경 생성
    - python -m venv 가장환경이름
    - 진입후
    - pip install mlflow
    - python mlflow_tracking.py
  • 아래 폴더 자동 생성
  • tree mlruns/
  • 서버 실행
  • mlflow ui

모델의 상세정보(train data, parameter등 상세하게 볼수있음)

  • 절대경로
  • mlruns/ 위치 와 inference 파일이 위치 동일 해야함
  • runs:/실험ID/artifacts폴더
profile
되고싶다 직무전환 성공하자!

0개의 댓글