profile
MLOps, MLE 직무로 일하고 있습니다😍
태그 목록
전체보기 (79)kubeflow(12)kubernetes(9)minikube(7)pipeline(6)python(5)k8s(5)ubuntu(4)vagrant(4)issue(4)쿠버네티스(4)MinIO(3)컨테이너(3)Nvidia(3)mac(3)influxDB(2)image(2)aws(2)gpu(2)인프라(2)df(2)온프레미스(2)Infra(2)Jetson Nano(2)kubectl(2)docker(2)Python SDK(2)IaaS(2)우분투(2)container(2)virtualbox(2)kubespray(2)CLEAN CODE(2)Argo(2)PromQL(2)push(2)jetson ai specialist(1)VRAM(1)importlib(1)Anaconda3(1)production(1)공유기(1)AutoML(1)sh(1)List(1)driver(1)linux(1)S3(1)loadbalancer(1)쿠버네티스 구성 요소(1)IOMMU(1)multi node(1)메트릭 데이터(1)influx-client(1)젯슨 나노(1)read_pickle(1)Full Monitoring Pipeline(1)network file system(1)통합(1)PVC(1)a5000(1)DockerHub(1)to_pickle(1)tf2(1)project(1)데이터 수집(1)OPS(1)kvm2(1)kustomize(1)Ancible(1)Read(1)language(1)클린 코드(1)docekr(1)데코레이터(1)PV(1)데이터(1)tf1(1)artifact-repositories(1)동적 프로비저닝(1)service(1)pickle(1)bash(1)iris(1)docker search(1)프로메테우스(1)ML(1)class(1)파이썬 클린 코드(1)쿠베플로우(1)DataFreame(1)kubeflow 1.4(1)port forwarding(1)model registry(1)kubeflow 1.2(1)ML pipeline(1)multi instance gpus(1)query(1)NFD(1)파이프라인(1)Developer kit(1)데이터 추출(1)프로덕션(1)Eager(1)enable_eager_execution(1)그라파나(1)none driver(1)build(1)commit(1)Mac Os(1)putty(1)RAM(1)자기지도학습(1)개발환경(1)dynamic provisioning(1)tensorflow(1)prometheus(1)operation(1)반대(1)AI(1)custom resource(1)iris data(1)kfctl(1)@property(1)kubelet(1)workflow-controller(1)포트포워딩(1)머신러닝(1)xrandr(1)쿠버 대시보드(1)artifact(1)nfs(1)workflow-controller-configmap(1)iptime(1)monitoring(1)모니터링(1)pull(1)컨테이너 인프라 환경(1)eks(1)python 3.6이상(1)VISION(1)Extendend Resource(1)Grafana(1)kubeflow 1.4.1(1)portforward(1)NodePort(1)우분투 해상도(1)dsl(1)논문(1)모니터링 환경(1)pandas(1)데이터 시각화(1)엣지 컴퓨팅(1)맥북(1)쿠브플로우(1)JETSON(1)speech(1)vscode(1)마우스(1)시각화(1)git(1)맥북프로(1)write(1)certification(1)search(1)운영(1)(1)tag(1)kfp(1)data2vec(1)@Resource(1)katib(1)object(1)18.04(1)MIG(1)Self-supervised(1)번역(1)Kernel(1)pod(1)
post-thumbnail

(임시) K8s Pod과 Docker containers 관계

docker ps | egrep 'CONTAINER|dl-model-20220502-2xz6h5xm-worker-0'ps auxf

2022년 5월 2일
·
0개의 댓글

VSCode Tensorflow reload - enable_eager_execution() 관련 이슈 해결

tf.enable_eager_execution() 을 설정했다가, 사용하지 않으려는데 자꾸 eager 관련 에러가 발생해요! 어떻게 커널이나 라이브러리 호출을 초기화시켜야 하나요?

2022년 4월 18일
·
0개의 댓글

[에러해결] Cannot convert a symbolic Tensor (strided_slice_1:0) to a numpy array. This error may indicate that you're trying to pass a Tensor to a NumPy call, which is not supported

Cannot convert a symbolic Tensor (strided_slice_1:0) to a numpy array. This error may indicate that you're trying to pass a Tensor to a NumPy call, wh

2022년 4월 15일
·
0개의 댓글
post-thumbnail

워크스테이션 CUDA 환경 구축

차후에 진행될 워크스테이션 내 CUDA 환경 구축기를 기록합니다.

2022년 4월 13일
·
0개의 댓글
post-thumbnail

minikube kubeflow 내 minio service 포트포워딩

minio-service 상태를 확인해봅시다.minio는 보통 9000번 포트를 사용합니다.minikube service listminio-service의 서비스 타입을 LoadBalancer로 노출해줍니다.이전에 Minikube의 MetalLB addons가 활성화

2022년 4월 1일
·
0개의 댓글

[Python] 리스트의 요소로 클래스 넣기

아닛... 이렇게 사용할 일이 없어서 설마 되나 하고 시도해봤는데 되는 게 있더라구요. 거두절미하고 예제 코드부터 보여드리겠습니다.친구에게 리스트 안에 클래스를 넣을 수 있다고 신기해서 말했더니, 원래 배열에 클래스 넣어서 쓰지 않나고 하더라구요..저는 아직도 갈 길

2022년 3월 29일
·
0개의 댓글
post-thumbnail

Minikube의 Dynamic Provisioning 이해하기

Minikube는 동적 프로비저닝을 지원하고 있는데, 나는 설정한 적이 없어요! 대체 어떤 기능이 동적 프로비저닝을 돕고 있는거죠? NFS로 프로비저닝 설정을 바꿀 순 없는걸까요?

2022년 3월 27일
·
0개의 댓글
post-thumbnail

Minikube NFS 설정하기

오늘은 NFS를 설정해서 Kubeflow Pipeline에서 저장되는 DL model을 호스트에 저장시키는 방법을 알아봅시다!Minikube-Kubeflow로 MLOps를 진행하다보니 몇가지 한계점이 느껴지더군요.PV/PVC를 설정해도 pod 내부(훈련 컨테이너)에서

2022년 3월 25일
·
0개의 댓글
post-thumbnail

Kubernetes GPU RAM 분할(Extended Resource 이용)

앞선 두 포스팅 (1), (2)에서 얘기햇듯이, 쿠버네티스에서 리소스를 요청할 때 gpu는 제약사항이 많습니다.그래서 아래와 같은 상황일 때 참고하시라고 GPU RAM을 분할하여 컨테이너에 할당할 수 있는 방법을 함께 진행해보고자 합니다.n개의 컨테이너에 GPU를 공유

2022년 3월 22일
·
0개의 댓글
post-thumbnail

Kubernetes MIG(Multi Instance GPUs) 적용하기

Minikube Nvidia GPU 구축하고 파이프라인에 GPU를 활용해보자!포스팅에 이어서 작성합니다.위 포스팅처럼 GPU를 구축하는게 정석이고, 현재 k8s 공식문서에서 지원하는 전부이긴 하지만 포스팅에서 설명했듯 제약사항이 존재합니다.컨테이너간의 GPU 공유가 불

2022년 3월 22일
·
0개의 댓글
post-thumbnail

Kubeflow autoML 구축 후기

아직 프로젝트가 끝나지 않았지만, 마무리를 한 달 정도 앞두고 해결해야 할 이슈가 좀 남았지만 파이프라인이 거의 구축이 되어서 후기를 조금씩 남겨볼까 합니다.앞으로 MLOps 프로젝트를 진행하시면서, Kubeflow 이용에 많은 이슈를 겪으실텐데 조금이나마 참고가 되시

2022년 3월 20일
·
0개의 댓글
post-thumbnail

[번역] data2vec: A Grneral Framework for Self-supervised Learning in Speech, Vision and Language

data2vec: A General Framework for Self-supervised Learning in Speech, Vision and Language

2022년 3월 18일
·
0개의 댓글

[KFServing] Invalid argument: NodeDef mentions attr 'allowed_devices' 이슈 해결

위처럼 KFserving에서 모델 서빙 시 tensorflow 오류가 발생하는 경우가 있다.이는 텐서플로 버전이 모델 빌드에 사용하는 버전과 KFServing에서 사용하는 Tensorflow 버전이 다르기 때문에 발생하는 오류이다.가장 좋은 해결 방법은 현재 사용하는

2022년 3월 10일
·
0개의 댓글
post-thumbnail

Minikube Nvidia GPU 구축하고 파이프라인에 GPU를 활용해보자!

지금까지는 minikube를 구축할 때 cpu 기반으로 돌아가도록 설정을 해왔습니다.모델을 gpu로 학습시키고 싶어서 방법을 알아보다, minikube를 구축할 때 간단한 gpu 옵션만 넣어주면 될 줄 알았는데 생각보다 복잡한 부분이 있어서 작성합니다.KVM(Kerne

2022년 3월 2일
·
0개의 댓글
post-thumbnail

Minikube에 프로메테우스, 그라파나 k8s 모니터링 파이프라인 구축하기

안녕하세요!이번엔 Minikube에 쿠버네티스 리소스 모니터링 환경을 구축해보려고 합니다.이~전 포스팅에서 VirtualVM을 이용해서 구축한 k8s 환경에 모니터링 환경(파이프라인)을 구축한 적이 있는데,실제로 프로젝트에서 사용하고자 하는 Minikube에 프로메테우

2022년 2월 15일
·
1개의 댓글
post-thumbnail

Python Clean Code(2)

오늘은 아이디어를 파이썬으로 표현하는 방식과 그 특수성을 살펴본다.프로그래밍에서 관용구(idiom)는 특정 작업을 수행하기 위해 코드를 작성하는 특별한 방법이다.매번 동일한 구조를 반복하고 따르는 것이 일반적이다.이것은 디자인 패턴과는 다르다.가장 큰 차이점은 디자인

2022년 2월 9일
·
0개의 댓글
post-thumbnail

Katib Docker container issue

아주.. 웃기는 버그를 찾았습니다.(하루종일 해결 못해서 기빠져서 웃깁니다...)Katib를 통해 하이퍼 파라미터 최적화를 진행하는데,experiment, suggestion, trials 모두 정상 생성 됐음에도 불구하고trial이 running 상태에서 아무것도 하

2022년 2월 8일
·
0개의 댓글
post-thumbnail

도커 허브 이미지 상세 정보 확인

도커 이미지를 도커 허브에서 그냥 받아 쓰기만 했는데,어제 개발을 하다보니 이미지 내의 파이썬과 pandas의 버전 이슈가 있었습니다.제 로컬에서 python 3.8.8에서 pandas.to_pickle이 pickle5 프로토콜을 이용해 파일을 저장했는데,도커 이미지(

2022년 2월 8일
·
0개의 댓글
post-thumbnail

Python 클린 코드 (1)

오늘부터(22.02.07) 파이썬 클린 코드(마리아노 아나야, 2019.02.18)를 읽으며 파이썬 클린 코드에 대해 공부하고 정리해보려고 합니다.앞으로 지속적으로 퇴근 후에 회사에 남아서 공부하면서 연재하려고 하니 많은 분께 참고가 되었으면 좋겠습니다 🥳링크 : h

2022년 2월 7일
·
0개의 댓글
post-thumbnail

Python 에러 정리

Docker container 환경에서 pickle load 시 발생할 수 있는 에러이다.pip install pickle5import pickle5 as pickle이후 pickle load 구문은 그대로 사용하면 된다. \- 나는 도커 컨테이너를 만들어 사용하고

2022년 2월 7일
·
0개의 댓글