[MLOps] Kubeflow 개요

1. 쿠버네티스 복습

Reproducibility

실행 환경의 일관성 및 독립성

Job Scheduling

스케쥴 관리, 병렬 작업 관리, 유휴 자원 관리

Auto-healing & scaling

장애 대응, 트래픽 대응

2. kubeflow

• 출처: https://www.kubeflow.org/docs/started/architecture/

각 단계를 지원하는 MSA

• 출처: https://www.kubeflow.org/docs/started/architecture/

• 출처: https://www.kubeflow.org/docs/started/architecture/

ML플로우 예시

• 출처: https://www.kubeflow.org/docs/started/architecture/

3. Pipeline

머신러닝 workflow를 DAG(방향 순환이 없는 그래프) 형태로 정의한 것.

• kubeflow 에 배포 후 run하면 pipeline을 구성하는 각각의 컴포넌트들이
  k8s 위에서 pod으로 생성되어 서로 데이터를 주고 받으며 흘러감.
  
  
• 즉, model serving까지 보내는데 필요한 모든 작업을 재사용 가능한 단위
  (컴포넌트)로 나누고, k8s 위에서 연결시켜주는 역할

• Pipeline의 목표

  • End to End Orchestration

    모델 연구 및 학습 과정과 서빙 과정의 괴리가 없도록

  • Easy Experimentation

    다양한 Configuration에 따라 수많은 시도를 쉽게

  • Easy Re-Use

    잘 설계된 kfp component 들은 재사용 가능하므로,
    새로 pipeline을 만들 때의 작업 효율 향상

4. Kubeflow Pipeline 딥다이브

• 출처: https://www.kubeflow.org/docs/components/pipelines/v1/introduction/