🏳‍🌈쿠버네티스 스터디 PKOS 5주차 프로메테우스 / 그라파나

모니터링

서비스를 구성하고 사용하면서 모니터링은 중요한 요소 중 하나이다.
CPU, Memory, 디스크 등 리소스 사용량, 네트워크 상태 등 서비스의 전체적인 상태 확인, 분석, 장애파악 등이 모니터링을 사용하는 이유이다.

목표

이번 5주차 스터디에서는 쿠버네티스의 기본 모니터링 및 표준으로 사용되고 있는 프로메테우스, 시각화 도구인 그라파나에 대해서 학습 할 계획이다.

쿠버네티스 기본 모니터링 도구

별도의 metric-server Pod를 설치하여 해당 서버가 cAdvisor를 통해 수집되는 Pod의 리소스 metric을 수집

현재 스터디에서 사용하는 kops의 경우 클러스터의 metric 서버를 추가하여 사용할 수 있음

kops edit cluster
-----
spec:
  certManager:
    enabled: true
  awsLoadBalancerController:
    enabled: true
  externalDns:
    provider: external-dns
  #[메트릭 서버 관련 내용]
  metricsServer:
    enabled: true
  kubeProxy:
    metricsBindAddress: 0.0.0.0
-----

• top
  • 리눅스 top 명령어와 유사하며, 클러스터의 node 및 pod의 CPU, MEMORY 사용량 확인 가능
  • kubectl top nodes, kubectl top pods
    
    --sort-by 옵션을 통해 오름차순 정렬 가능
    
• df-pv
  • Persistent Volume(PV)의 정보 확인
  • krew를 통해 설치kubectl krew install df-pv
    
  • Pod 접속 후 df -h를 입력하여 disk 정보를 조회하지 않아도 디스크 사용 정보 확인 가능
    

• k9s
  • 명령어 기반 쿠버네티스 모니터링 도구
  • 자원 사용량, 전체 Pod 수량 등 전반적인 현황 파악 가능
  • 이벤트 메시지는 최대 1시간 이내 정보만 나타내기 때문에 그 전 내용의 데이터는 확인 불가능
  • 추후 설치 및 사용 후 내용 기입

프로메테우스

쿠버네티스 환경에서 모니터링

• 노드와 컨테이너 자원 사용량 모니터링
• 클러스터 모니터링
• 애플리케이셔 모니터링

쿠버네티스 환경에서 모니터링 솔루션 중 사실상 표준인 프로메테우스가 알아보자

• 오픈소스
  • 무료로 사용 가능하며 사실상 표준으로 사용되고 있음
• 서비스 디스커버리
  • 동적으로 Pod가 확장 및 축소되는 쿠버네티스 환경에서 자동으로 Pod의 생성 및 삭제 반영
• Pull 방식
  • 모니터링 대상에 Agent를 설치하고 Agent가 중앙 서버로 모니터링 정보를 전달하는 Push 방식이 아닌 중앙 프로메테우스 서버가 모니터링 대상의 정보를 직접 가저오는 방식
  • 쿠버네티스 환경에서는 Pod가 동적으로 생성 및 삭제되기 때문에 Push방식보다 Pull 방식이 효율적임
• 다양한 애플리케이션 익스포터 제공
  • 다양한 애플리케이션과 연동 가능한 메트릭 정보를 제공
• 다양한 레이블 지원
  • 쿠버네티스 레이블 처럼 다양한 레이블을 지원하여 사용자가 원하는 메트릭만 필터링해서 조회 및 사용 가능
• 자체 검색언어 제공(PromQL, Prometheus Query Language)
• 시계열 데이터 베이스(Time-series databases, TBDB)사용

[전체 구조]

설치

hele을 이용하여 프로메테우스-스택 설치

# 네임스페이스 생성
kubectl create ns monitoring

# 사용 리전의 인증서 ARN 확인
CERT_ARN=`aws acm list-certificates --query 'CertificateSummaryList[].CertificateArn[]' --output text`
echo "alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN"

# 헬름 프로메테우스 저장도 추가
helm repo add prometheus-community https://prometheus-community.github.io/helm-charts

# 인증서 정보 및 클러스터명을 변수로 지정하여 저장
cat <<EOT > ~/monitor-values.yaml
alertmanager:
  ingress:
    enabled: true
    ingressClassName: alb

    annotations:
      alb.ingress.kubernetes.io/scheme: internet-facing
      alb.ingress.kubernetes.io/target-type: ip
      alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
      alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN
      alb.ingress.kubernetes.io/success-codes: 200-399
      alb.ingress.kubernetes.io/group.name: "monitoring"

    hosts:
      - alertmanager.$KOPS_CLUSTER_NAME

    paths:
      - /*


grafana:
  defaultDashboardsTimezone: Asia/Seoul
  adminPassword: prom-operator

  ingress:
    enabled: true
    ingressClassName: alb

    annotations:
      alb.ingress.kubernetes.io/scheme: internet-facing
      alb.ingress.kubernetes.io/target-type: ip
      alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
      alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN
      alb.ingress.kubernetes.io/success-codes: 200-399
      alb.ingress.kubernetes.io/group.name: "monitoring"

    hosts:
      - grafana.$KOPS_CLUSTER_NAME

    paths:
      - /*

prometheus:
  ingress:
    enabled: true
    ingressClassName: alb

    annotations:
      alb.ingress.kubernetes.io/scheme: internet-facing
      alb.ingress.kubernetes.io/target-type: ip
      alb.ingress.kubernetes.io/listen-ports: '[{"HTTPS":443}, {"HTTP":80}]'
      alb.ingress.kubernetes.io/certificate-arn: $CERT_ARN
      alb.ingress.kubernetes.io/success-codes: 200-399
      alb.ingress.kubernetes.io/group.name: "monitoring"

    hosts:
      - prometheus.$KOPS_CLUSTER_NAME

    paths:
      - /*

  prometheusSpec:
    serviceMonitorSelectorNilUsesHelmValues: false
    retention: 5d
    retentionSize: "10GiB"
EOT

# 배포
helm install kube-prometheus-stack prometheus-community/kube-prometheus-stack --version 45.0.0 -f monitor-values.yaml --namespace monitoring

헬름 차트 배포 후 LB 구성이 완료되면, 너무 간편하게 프로메테우스, 그라파나, 얼럿매니저를 바로 사용 할 수 있다.(개꿀🌝)

프로메테우스 웹페이지에서 수집한 metric에 대하여 확인 및 설정이 가능하지만, 보다 좋은 시각화를 제공하는 그라파나를 통해 metirc 확인!

또한 다양한 공유 dashboard를 적용하여 효율적이고 이뿐 모니터링 dashboard를 사용할 수 있다.

[과제]

과제1. 그라파나에 여러 대쉬보드를 추가해보자!

• node Exporter Full 대쉬보드 적용 화면
  
• kube-state-metrics-v2 대쉬보드 적용 화면
  
• 1 Kubernetes All-in-one Cluster Monitoring KR 대쉬보드 적용 화면
  

과제2. Nginx 웹 파드 배포 후 관련 metric 를 프로메테우스 웹에서 확인, 그라파나에 nginx 웹서버 대시보드를 추가

• 프로메테우스 웹에서 nginx metric 확인 화면
  
  
• 프로메테우스의 타겟 확인
  
• 12708 대쉬보드(Nginx 웹) 적용 화면
  

마무리

이번 스터디에서는 쿠버네티스 환경에서 기본 모니터링 도구 및 표준으로 사용되는 프로메테우스를 학습하였다.
프로메테우스는 일반적으로 그라파나, 얼럿매니저와 연동하여 시각화, 알람 등을 편하게 설정 및 구성할 수 있다.
또한 프로메테우스-스택을 설치하면서 한번에 모든 구성을 하여 편리하게 사용할 수 있었다.
다음 시간에는 얼럿매니저 및 로깅 시스템에 대해서 학습 할 계획이다.