Kurly만의 MLOps 구축하기 - 쿠브플로우 도입기
:https://helloworld.kurly.com/blog/second-mlops/

Kubeflow로 구현하는 MLOps 워크플로우
:https://docs.kakaocloud.com/blog/240131-kubeflow-overview

😈 데이터블로그 챌린지 11일차😈 입니다.
이번 시간에는 mlops 플랫폼 중에서 kubeflow에 대해서 알아보았습니다. 대표적으로 kebeflow 사용하는 기업에는 마켓컬리와 카카오클라우드를 살펴보았습니다.

kubeflow 사용기업

요약

• Mlops 플랫폼에는 metaflow, seldon, mlflow, kubeflow, AWS sagemaker, AZURE 머신러닝 등이 있다.
• 카카오클라우드는 kubeflow1.6최신버전을 포함하여 이용 가능하다.
• 쿠버네티스 환경에서 간편하게 머신러닝 워크플로우를 배포할 수 있는 쿠브플로우가 널리 쓰이는 중이다.

내용

• 마켓컬리는 여러가지 머신러닝 모델을 실험하고 서빙하는 수요가 늘어나면서, 인프라에는 신경쓰지 않고 데이터와 모델링 및 실험에 집중하기 위해 mlops 플랫폼 도구를 도입하기로 함.

• kubeflow는 빠르게 머신러닝 모델을 개발하고 배포할 수 있도록 설계된 오픈소스 프로젝트다.

• kubeflow 특징:
  1) AutoML+ Kubeflow pipelines의 통합 => 사용자는 모델의 훈련, 평가, 배포단계를 자동화하고 최적화 가능, 머신러닝 프로젝트 반복작업 줄일 수 있음.
  2) multi-tenant지원을 강화하여 여러팀이 동일한 kubeflow 인스턴스를 효과적으로 공유하며 자원을 격리할 수 있음

Kubeflow 특징

• 반복 및 이식이 가능한 쉬운 배포: 클라우드, 온프레미스 환경에서 배포를 용이
• 비종속적인 마이크로 서비스 배포 및 관리 체계: MSA기반 각 컴포넌트의 독립적인 관리 가능
• 사용자 요구에 따른 반응형 스케일링: 사용자의 요구에 따라 자원을 자동으로 스케일링

kubeflow 주요 컴포넌트

aws sagemaker와의 비교

카카오클라우드의 kubeflow

• 1.6버전 포함한 최신기능을 지원함
• 세분화된 액세스 관리기능
• 유연한 스토리지 옵션
• 엔비디아 MIG 인스턴스 최적화
• 멀티파일 스토리지 지원