이 전 글에서 EFK Stack 을 구성하여 로그가 정상적으로 수집되는 것을 확인하였지만, 안정적인 운영을 위해 추가로 설정해야 될 작업이 필요합니다. 사실 이러한 부분이 로깅 스택 구축에서 큰 부분을 차지하고 Elastic이 다소 복잡하기 때문에 현재 시스템에 딱 맞

쿠버네티스 클러스터를 구성하면서 모니터링 시스템으로 주로 프로메테우스를 구축해서 사용하였습니다. 쿠버네티스 위에서 운영하는 서비스의 경우 안정적인 운영을 위해 HA를 구성해서 운영하고 있습니다. 프로메테우스의 경우 서버에서 메트릭을 Pull 해서 데이터를 가져오고,

쿠버네티스 클러스터를 운영하며 안정적인 관리를 위해 로그 시스템을 구축하기 위해 EFK Stack을 테스트 한 내용을 기록합니다. 멀티 클러스터 환경에서 발생하는 로그를 한 개의 키바나에서 볼 수 있도록 설치합니다. 기본 흐름은 다음과 같습니다.Fluent-bit 는

Kubernetes에서 CI/CD 를 테스트 한 내용을 기록합니다. 기존 작성한 Kubernetes CI/CD 글의 경우 Jenkins만 이용하였지만,이번 테스트에서는 일반적으로 많이 사용하는 Jenkins-ArgoCD 조합을 사용하여 파이프라인을 구성하고 Docke

컨테이너 기반의 서비스를 사용할 때 이미지 빌드 서버를 따로 구축하는 경우가 있습니다. 일반적으로 개발자는 도커나,containerd 가 설치되어 있는 환경에서 CLI를 통해 이미지를 빌드하지만 서비스 레이어에서 User가 이미지를 빌드하는 경우가 생깁니다. 예를 들어

쿠버네티스에서 Deployment를 생성하면서 안정적인 서비스 유지를 위해 여러개의 파드로 구성 할 때가 있습니다. 이는 보통 Replicas를 2개 이상으로 설정해 파드를 여러개 생성하여 하나의 파드가 문제가 생겨도 정상적으로 서비스가 동작할 수 있도록 합니다. 하지

멀티 클러스터와 많은 서버가 구축되어있을 수록 사용자 접근에 대한 관리가 더욱 어려워집니다. 이에 대하여 효율적인 관리를 위해 Access Management로 Teleport를 사용하기 위해 테스트한 내용을 기록합니다. Teleport는 안정적으로 Infrastr

AWS 서비스를 이용하여 ETL 작업을 진행하는 시스템에서 모니터링이 구축되어있지 않아 운영하는데 어려움을 겪고 있습니다. 사용하는 AWS 서비스로는 Lambda(300여개) , API Gateway, Glue(200여개 ),S3 입니다.  초기에는 당연히 AWS 서비

_ 1. 배경_ 쿠버네티스가 컨테이너 오케스트레이션 도구로 각광을 받은 이유 중 AI 환경에서의 편의성이 높은 점도 있다고 생각합니다. ML Pipeline 환경을 쿠버네티스에서 운영했을 때 학습,관리,배포를 모두 운영 할 수 있습니다. 이러한 각각의 오픈소스(Not

Kubeflow를 설치한 후 생성된 파드를 보면 다양한 컴포넌트들이 존재하는 것을 확인 할 수 있습니다. Kubeflow 기반의 플랫폼을 개발 하거나 정확하게 Kubeflow를 사용하기 위해서 각 컴포넌트들의 역할과 동작과정에 대한 이해가 필요하다고 느꼈습니다. 이를

폐쇠망에서 Kubernetes 클러스터 구성해야하는 작업이 생겨서 이를 위한 테스트를 진행하였습니다. 이를 위한 과정을 기록합니다. 이를 위해 EC2를 사용하여 클러스터를 구성하고 폐쇠망 환경을 구현하기 위해 아웃바운드 정책으로 80, 443를 제외하였습니다. 전체적

Application 개발 환경을 셋업하면서 CI/CD 툴에 대한 고려가 나왔습니다. Jenkins는 가장 유명한 CI/CD 툴 중 하나로 Jenkins를 이용해 이미지 빌드 부터 Kubernetes에 배포까지 할 수 있습니다. Docker, Kubernetes를 위한

_ 1. Overview _ 어느덧 입사를 한지 1년이 지나며 업무를 진행하면서 신입 후배 개발자나 인턴이 들어오기 시작했습니다. 저희 팀의 경우 쿠버네티스에서 배포되는 플랫폼을 개발하기 때문에 개발자가 쿠버네티스에 대한 지식은 어느정도 있어야 됩니다. 하지만 신입분

kubeflow의 경우 kubeflow manifest github를 통해 손쉽게 설치 할 수 있습니다. 우선 kubernetes cluster는 구성되어있다고 가정하고 kustomize를 설치해야됩니다.이후 프로젝트를 clone 한 후 매니페스트를 적용하면 됩니다.

ML/DL 등의 AI 학습을 하는 환경에서 하드웨어 리소스 관리는 중요한 이슈입니다. GPU, CPU 등 제한된 자원을 여러 사용자가 할당받아 사용하면서 낭비되는 사례는 굉장히 많습니다.특히 GPU의 가격이 비싼 만큼 사용할 수 있는 자원이 제한적이므로 많은 관리자가

쿠버네티스 기반 AI Platform 개발을 마치고 운영하던 도중 kube-apiserver의 메모리 사용량이 지속적으로 증가하면서 Master node가 down 되는 현상이 반복되었습니다. 문제를 해결하기 위해 시도한 내용을 기록합니다. 회사 보안 상 문제 화면을

이전 글에서 K8S-Nvidia Plugin 설치를 통해 GPU를 파드에서 사용하고, 파드를 GPU 서버에 스케줄링 하는 방법을 알아봤습니다. 더 나아가 K8S에서 Job을 통해 학습을 시키고, Jupyter notebook을 파드로 실행하는 과정을 알아보겠습니다.쿠버

1\. overview 입사 후 EC2를 이용한 개발, 테스트를 진행하면서 많은 편의성을 느껴 자주 사용하게 되었습니다. 저희 회사는 AWS를 월 200$ 사용할 수 있는 계정을 제공하는데 관리를 제대로 못하다 보니 요금 제한을 넘은 적이 많았습니다. 다행히 회사에서

1. Overview 프로메테우스를 이용해 모니터링 시스템을 구축하였습니다. 수집한 메트릭을 기반으로 그라파나로 시각화 해 모니터링을 진행하며 대부분의 메트릭은 오픈 소스로 공개되어있는 익스포터를 사용했습니다. 오라클용 DB 모니터링 용 Oracle-exporter,

Overview 회사에서 빅데이터 시스템 개발을 진행하는 프로젝트에 참여하게 되었습니다. 규모가 있는 프로젝트에 참여하다 보니 빅데이터 시스템의 파이프라인에 해당하는(데이터 수집,DB 엔진,스토리지 등) 각각의 솔루션에 대한 통합 모니터링 시스템이 필요했습니다. 이를