# kubeflow
[Kubeflow] TFJob 기본 개념
아래 내용은 kubeflow의 공식문서를 공부하며 정리한 내용입니다. 참고 [kubeflow docs v1.6] TensorFlow Training (TFJob) TFJob 이란? TFJob은 k8s 위에서 tensorflow training job을 수행하기 위한 custom resource. TFJob의 구현체는 training-operator...
[Kubeflow] kfp로 pipeline에 연결하는 방법 파헤치기
참고 [kubeflow docs] Connect the Pipelines SDK to Kubeflow Pipelines [kubeflow on aws docs] Pipelines 배경과 목표 pipeline SDK로 kubeflow piplines 서버에 연결하는 방법은 kubeflow가 어떻게 구성되어 있냐에 따라 다른데 여기서는 full kubefl...
[kubeflow Docs] TFJob 이란?
참고 [kubeflow docs] TensorFlow Training (TFJob) TFJob 이란? TFJob은 k8s 위에서 tensorflow training job을 수행하기 위한 custom resource. TFJob의 구현체는 training-operator. training-operator란 k8s 위에서 tensorflow, py...
kubeflow 대시보드 및 docker-registry
이전 글에서는 kubeflow 대시보드 로그인까지 진행되었다.오늘은 kubeflow 대시보드의 각 기능에 대해서 알아보자.대시보드에 로그인을 하면 위 기능들을 사용 할 수 있다.대략적으로 설명을 하고 앞으로의 글에서 하나하나 자세히 사용해 볼 예정이다.Home : 전체
Kubeflow 설치
이전까지는 쿠버네티스를 설치하고 클러스터를 구성해 보았다. 이제는 kubeflow를 설치하기 위한 세팅과 kubeflow manifests를 이용해서 설치를 한다.
쿠버네티스의 구조
쿠버네티스는 클러스터를 어떻게 구축하나? 쿠버네티스의 구조는 위 사진처럼 표현 할 수 있다. 마스터 역활을 하는 컨트롤 플레인과 실제 컨테이너가 동작하는 노드로 이루어져있다.
쿠버네티스란 무엇인가
이번 시리즈는 kubeflow를 설명하기 앞서 쿠버네티스에 대해 내가 이해한걸 정리 한 글이다. 쿠버네티스의 전체적인 기능을 설명하는 것이 아닌 딱 사용할때 동작하는 간단한 원리를 정리하였다.
온프레미스로 kubeflow 구축하기
minikube에 Kubeflow 1.4.1을 설치한다.Kubeflow 설치 방식이 버전 1.2까지는 kfctl를 사용하였으나, 1.3부터는 kustomize를 사용한다.✓ kfctl is a CLI for deploying and managing Kubeflow, L
kubeflow 설치하기
저는 kubeflow를 minikube 환경에서 설치하고 사용하겠습니다.minikube를 시작해줍니다. 시작 시 스펙을 어느정도 할당해서 시작하겠습니다.minikube 설치를 했고 실행된 것을 확인했으니 kubeflow를 설치해보겠습니다.kubeflow 설치를 위해 k
아무도 안알려주는 on-premise Kubeflow 구축해보자(with cuda)
회사에서 모델을 개발하니 Production을 해야하고 이를 실제 배포까지 진행한다면 많은 단계를 거쳐야하고 모니터링 및 복구가 가능해야 합니다.이에따라 MLOps가 필요해졌고 고객요구에 따라 Sagemaker를 활용하여 MLOps를 구축하게 되었습니다.사실 MLOps
KFP SDK 활용방법 정리
안녕하세요!이번엔 Kubeflow 파이프라인을 개발할 때 자주 사용했던 kfp 모듈에 대해 알아보고자 합니다.SDK라고도 하고, 파이썬 입장에서 보면 패키지이기도 합니다.파이프라인을 컴파일할 때 주로 사용하지만, sdk만으로 파이프라인을 컴파일해서 업로드하고, 리스트를
Kubeflow 설치
docker 20.10.12minikube 1.21.0kubectl 1.120.4kustomize 4.5.1kubeflow pipeline 1.7.0은 kubernetes 1.22 버전 이상에서 작동하지 않는다. 따라서 minikube 설치 시 버전을 잘 확인하고 설치
Window에서 Minikube / Kubeflow 구축하기
안녕하세요, 오늘은 Window os에서 쿠버네티스를 구축하고, Kubeflow가 정상적으로 동작하는지 확인해보려고 합니다.항상 Mac 혹은 Linux Ubuntu 계열의 OS만 사용하다보니, Window로 개발환경을 구축하는게 얼마만인지 모르겠네요.Minikube 구
Model Train Job API 개발 - Kubernetes 환경
_ 1. 배경_ 쿠버네티스가 컨테이너 오케스트레이션 도구로 각광을 받은 이유 중 AI 환경에서의 편의성이 높은 점도 있다고 생각합니다. ML Pipeline 환경을 쿠버네티스에서 운영했을 때 학습,관리,배포를 모두 운영 할 수 있습니다. 이러한 각각의 오픈소스(Not
Kubeflow Componet 분석 #1 - Jupyter Notebook ( Notebook 권한 수정)
Kubeflow를 설치한 후 생성된 파드를 보면 다양한 컴포넌트들이 존재하는 것을 확인 할 수 있습니다. Kubeflow 기반의 플랫폼을 개발 하거나 정확하게 Kubeflow를 사용하기 위해서 각 컴포넌트들의 역할과 동작과정에 대한 이해가 필요하다고 느꼈습니다. 이를
