# kubeflow

27개의 포스트
post-thumbnail

Model Train Job API 개발 - Kubernetes 환경

_ 1. 배경_ 쿠버네티스가 컨테이너 오케스트레이션 도구로 각광을 받은 이유 중 AI 환경에서의 편의성이 높은 점도 있다고 생각합니다. ML Pipeline 환경을 쿠버네티스에서 운영했을 때 학습,관리,배포를 모두 운영 할 수 있습니다. 이러한 각각의 오픈소스(Not

2022년 4월 27일
·
0개의 댓글
post-thumbnail

Kubeflow Componet 분석 #1 - Jupyter Notebook ( Notebook 권한 수정)

Kubeflow를 설치한 후 생성된 파드를 보면 다양한 컴포넌트들이 존재하는 것을 확인 할 수 있습니다. Kubeflow 기반의 플랫폼을 개발 하거나 정확하게 Kubeflow를 사용하기 위해서 각 컴포넌트들의 역할과 동작과정에 대한 이해가 필요하다고 느꼈습니다. 이를

2022년 4월 15일
·
0개의 댓글
post-thumbnail

MLOps ?

기존의 DevOps 방식의 운영으로 머신러닝 시스템 운영에 한계가 있어 생겨난 문화를 일컫는 일종의 신조어

2022년 4월 13일
·
0개의 댓글
post-thumbnail

minikube kubeflow 내 minio service 포트포워딩

minio-service 상태를 확인해봅시다.minio는 보통 9000번 포트를 사용합니다.minikube service listminio-service의 서비스 타입을 LoadBalancer로 노출해줍니다.이전에 Minikube의 MetalLB addons가 활성화

2022년 4월 1일
·
0개의 댓글
post-thumbnail

Minikube NFS 설정하기

오늘은 NFS를 설정해서 Kubeflow Pipeline에서 저장되는 DL model을 호스트에 저장시키는 방법을 알아봅시다!Minikube-Kubeflow로 MLOps를 진행하다보니 몇가지 한계점이 느껴지더군요.PV/PVC를 설정해도 pod 내부(훈련 컨테이너)에서

2022년 3월 25일
·
0개의 댓글
post-thumbnail

Kubeflow autoML 구축 후기

아직 프로젝트가 끝나지 않았지만, 마무리를 한 달 정도 앞두고 해결해야 할 이슈가 좀 남았지만 파이프라인이 거의 구축이 되어서 후기를 조금씩 남겨볼까 합니다.앞으로 MLOps 프로젝트를 진행하시면서, Kubeflow 이용에 많은 이슈를 겪으실텐데 조금이나마 참고가 되시

2022년 3월 20일
·
0개의 댓글
post-thumbnail

Airflow vs. Kubeflow

데이터 워크플로우를 파이프라인으로 관리하여 작업을 오케스트레이션하는(task orchestration) 대표적인 두 가지 툴 Airflow와 Kubeflow의 특징을 비교한 포스트입니다. 🌊 Data Workflow Management Too

2022년 3월 8일
·
0개의 댓글
post-thumbnail

Kubeflow V1.4 설치 및 초기 설정(User 추가, CORS, dex DB 분리)

kubeflow의 경우 kubeflow manifest github를 통해 손쉽게 설치 할 수 있습니다. 우선 kubernetes cluster는 구성되어있다고 가정하고 kustomize를 설치해야됩니다.이후 프로젝트를 clone 한 후 매니페스트를 적용하면 됩니다.

2022년 2월 17일
·
0개의 댓글
post-thumbnail

AWS EKS 클러스터에서 Kubeflow 사용하기 - Kubeflow 예제 실행해보기

해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 세번째 포스팅입니다.

2022년 2월 15일
·
0개의 댓글
post-thumbnail

AWS EKS 클러스터에서 Kubeflow 사용하기 - Kubeflow 설치하기

해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 두번째 포스팅입니다.Kubeflow 설치과정을 다룰 예정이니 AWS EKS 클러스터 구축은 이전 포스트를, 예제 실행은 다음 포스트를 참고해주세요.

2022년 2월 14일
·
0개의 댓글
post-thumbnail

AWS EKS 클러스터에서 Kubeflow 사용하기 - AWS EKS 구축하기

해당 포스팅은 AWS EKS 클러스터 기반에서 Kubeflow를 사용하기 위한 과정을 다룬 시리즈 중 첫번째 포스팅입니다.AWS EKS 클러스터 구축 단계까지만 다룰 예정이니 Kubeflow 설치 방법과 관련된 내용은 다음 포스팅을 참고해주세요.

2022년 2월 11일
·
0개의 댓글
post-thumbnail

Kubeflow 에서 안쓰는 노트북은 중지 시키자!!(Jupyter Notebook Culling)

ML/DL 등의 AI 학습을 하는 환경에서 하드웨어 리소스 관리는 중요한 이슈입니다. GPU, CPU 등 제한된 자원을 여러 사용자가 할당받아 사용하면서 낭비되는 사례는 굉장히 많습니다.특히 GPU의 가격이 비싼 만큼 사용할 수 있는 자원이 제한적이므로 많은 관리자가

2022년 2월 10일
·
0개의 댓글
post-thumbnail

온프레미스 프로덕션 환경으로 Kubernetes, kubeflow 구축하기!(Vagrant 없이, 중단)

안녕하세요!그동안 Minikube를 활용해서 쉽게 쿠버플로를 구축하고 잘 사용하고 있었는데..프로젝트 특성 상 실제 프로덕션을 진행해야하기 때문에 Minikube를 버려야 할 상황입니다.Minikube는 기본적으로 로컬에서 쿠버네티스를 쉽게 구축하고 연습, 연구 등을

2022년 1월 20일
·
0개의 댓글
post-thumbnail

Ubuntu 18.04 서버에 Minikube로 Kubernetes, Kubeflow 1.4.1 버전 구축하기

오늘은 온프레미스 우분투 서버에서 Minikube를 이용해서 kubeflow를 구축해보겠습니다!리눅스 정보 확인Linux bit : uname -mx86-64다운로드 정보 받아오기https://minikube.sigs.k8s.io/docs/start/cd De

2022년 1월 17일
·
0개의 댓글
post-thumbnail

온프레미스로 쿠버플로 1.4 인프라 구축하기!

안녕하세요! 오늘은 문제가 많은 AWS(EKS) 인프라를 기반으로 구축하는 Kubeflow 1.2 버전이 아닌,온프레미스 환경에서(Minikube를 이용합니다!) Kubeflow 1.4버전을 구축해보도록 하겠습니다.minikube에 Kubeflow 1.4.1을 설치한다

2022년 1월 7일
·
0개의 댓글
post-thumbnail

kubeflow 아티팩트 저장소 minio, s3 자유자재로 변경해서 사용하기

kubeflow pipeline을 구축하다보면 전처리가 되지 않은 원시 데이터 파일을 어딘가에서 받아오거나,원시 데이터 파일을 전처리 후 어딘가에 저장한 후, 훈련에 사용하기 위해 해당 파일을 다시 불러오거나,훈련 후 matrics 및 각종 결과 파일 및 모델을 어딘가

2021년 12월 17일
·
0개의 댓글
post-thumbnail

kubernetes & kubeflow 설치 (feat. GCP)

kubeflow kubernetes install

2021년 12월 6일
·
0개의 댓글
post-thumbnail

Kubeflow, aws EKS 환경에서의 argo, minio 관련 이슈 해결 방법

안녕하세요, 오늘은 kubeflow에서 파이프라인 구축 중 파이프라인이 작동하지 않는 이슈를 해결하면서 알게 된 해결 방법을 공유해보고자 합니다.일단 aws EKS 클러스터에서 정상적으로 Kubeflow를 설치하셨다는 가정하에 내용을 진행하겠습니다.이슈 내용은 다양하겠

2021년 12월 1일
·
0개의 댓글
post-thumbnail

Kubeflow pipeline with iris data

오늘은 기본적인 파이프라인 구축 예시인 iris 데이터를 활용해보겠습니다!전체 코드는 이 레포지터리에서 클론하셔서 사용하실 수 있습니다.2개의 디렉토리와 pipeline.py 파일디렉토리 : load, ML model training : kubeflow의 각 단계(컴포

2021년 11월 23일
·
0개의 댓글
post-thumbnail

Python SDK로 ML 파이프라인 만들기

파이프라인은 컨테이너 이미지 기반으로 실행되기 때문에 개발 환경에 도커 클라이언트가 설치되어 있어야 합니다.또한 파이프라인 SDK도 설치되어 있어야합니다.파이프라인은 DSL(도메인 특화 언어)을 통해서 작성되며, 컴파일 과정을 거쳐 k8s 파이프라인 리소스로 변환되어

2021년 11월 22일
·
0개의 댓글