Prometheus with Docker Container

독자 대상📣

👉 Prometheus로 시스템 메트릭을 모니터링 하시려는 분
👉 node_exporter를 사용하여 매트릭을 추출하시려는 분
👉 Ubuntu 환경에서 구축하시는 분

---

출간 이유❓

Docker(swarm) Container 기반 Prometheus 구축 시, 서비스 등록 불가 현상 확인

---

문제 파악🔍

# systemctl 커맨딩 오류
$ sytemctl daemon-reload
System has not been booted with systemd as init system (PID 1). Can't operate.

Q: Prometheus를 Docker Container 기반으로 구축하려는데
   Systemctl 커맨딩이 정상 작동하지 않아서
   Prometheus 서비스 등록이 불가합니다..😥

---

문제 해결🎊

A: Docker Container는 Unprivileged 모드가 default값입니다.
   이 모드는 시스템의 메인 리소스에 접근할 수 있는 권한이
   부족하여, 시스템 자원 접근이 불가합니다.
   
   따라서 우리는 Docker Container를 Privileged 모드로
   실행해야할 필요가 있습니다.

   하지만, 만약 이렇게 쉽게 해결된다면 
   이 글을 출간하지 않았을 것입니다😂
   
   간혹, privileged 옵션이나 /init 옵션을 적용해도
   위 문제가 해결되지 않는 경우가 있습니다❗❗

   하단의 내용을 참고하여 이 Disgusting한 문제를 해결하십시오❗❗
   
   (이 글은 Prometheus 설정 파일이 이미 볼륨 바인딩되었다는
   것을 전제로 작성되었습니다.)

1. node_exporter 최신 버전 확인

   # node exporter의 최신버전 확인 후, 다운로드 링크 확보
   # 현 시점, 1.4.0이 최신 버전
   https://github.com/prometheus/node_exporter/releases/download/v1.4.0/node_exporter-1.4.0.linux-amd64.tar.gz

2. node_exporter 구동 쉘 파일 작성

   # 로컬 작성 버전
   $ vi prom_node_exporter.sh
   #!/usr/bin/env bash
   container_name=`docker ps -q | xargs -n 1 docker inspect --format '{{ .Name }} {{range .NetworkSettings.Networks}} {{.IPAddress}}{{end}}' | sed 's#^/##' | grep [프로젝트명] | cut -d " " -f1`
   docker exec -i $container_name wget -P /opt https://github.com/prometheus/node_exporter/releases/download/v1.4.0/node_exporter-1.4.0.linux-amd64.tar.gz
   docker exec -i $container_name tar xvzf /opt/node_exporter-1.4.0.linux-amd64.tar.gz -C /opt/
   docker exec -i $container_name rm -rf /opt/node_exporter-1.4.0.linux-amd64.tar.gz
   docker exec -i $container_name /opt/node_exporter-1.4.0.linux-amd64/node_exporter --web.listen-address=:3010 &
   
   # 컨테이너 내부 작성 버전
   $ vi prom_mode_exporter.sh
   #!/bin/bash
   wget -P /opt https://github.com/prometheus/node_exporter/releases/download/v1.4.0/node_exporter-1.4.0.linux-amd64.tar.gz
   tar xvzf /opt/node_exporter-1.4.0.linux-amd64.tar.gz -C /opt/
   rm -rf /opt/node_exporter-1.4.0.linux-amd64.tar.gz
   /opt/node_exporter-1.4.0.linux-amd64/node_exporter --web.listen-address=:3010 &

   각 쉘 파일의 마지막 커맨드에서 3010은 prometheus에서 설정한 job task의 포트를 참고하여 수정하시면 됩니다.😁