👁️‍🗨️ 개복치 인스턴스를 위한 모니터링 서버 띄우기(feat. Prometheus + Grafana)

제발 돌연사 좀 그만해

사건의 발단😂

최근 프로젝트에서 자꾸 서버가 돌연사를 한다.

'베뉴야... 서버가 터졌어' 라면서 날라오는 카톡을 보며 어쩔 줄 몰라 하는 내 자신을 발견한다.
이유 없는 서버 다운에, 속수무책인 나는 AWS CloudWatch로 가서 어떤 메트릭이 문제인지 보았다.

역시 CPU점유율(CPU Utilization)이 문제였다.

위의 사진에서 볼 수 있듯이, 99.9% 로 널뛰는 스파이크 형식의 리소스 사용률이 보인다.
만약 평상시에도 CPU점유율이 높다면, auto scaling으로 scale-out하는 방식을 택할테지만, 보면 알 수 있듯이 평상시의 점유율은 50%도 채 되지 않는다.

지속적으로 확인해주는 게 최선인데, 이걸 수동으로 확인하는 게 참 번거롭다고 생각했다.
이때, health check가 fail될 때 바로 메일로든 어떤 형태로 알람이 트리거 되면 ASAP으로 대응해줄 수 있을 것 같았다.

Solution: 그래서 모니터링 좀 하자 🙆‍♀️

Prometheus + Grafana 로 모니터링 서버를 띄우기로 했다.

Protmethus로 메트릭들을 수집하고, Grafana 로 시각화하며 기본 구성을 한다.
그 다음, AlertManager 로 알림 룰을 설정해주겠다. CPU점유율이 80% 이상이 되면, 알림이 트리거된다.
대략적인 아키텍처는 이렇게 설계했다.

---

1. 타겟 서버에 Node Exporter 설치하기

'프로토타인' 서버에서 수집하는 메트릭 정보를 Prometheus 서버에 전달하려면, 타겟 서버에 해당하는 '프로토타인' 서버에 Node Exporter을 설치하여야 한다.

🔥 Node Exporter란?
Prometheus Node Exporter는 하드웨어의 상태와 커널 관련 메트릭을 수집하는 메트릭 수집기이다.
Prometheus는 Node Exporter의 metrics HTTP endpoint에 접근하여 해당 메트릭을 수집할 수 있다.
Node Exporter로부터 수집한 메트릭을 Prometheus내의 TSDB에 저장하여 PromQL로 메트릭을 쿼리해 서버 상태를 모니터링할 수 있다.

🖇️Node Exporter 다운로드 링크 에 접속해서, node_exporter 란에 OS에 알맞는 파일을 tar 파일을 다운 받는다.

1.1 Node Exporter 설치하기

$ wget [링크 주소]

1.2 압축 파일 해제

$ tar xvfz [압축 파일]

$ ls

1.3 압축 해제한 파일로 이동

$ cd node_exporter-1.5.0.linux-amd64

1.4 백그라운드에서 Node Exporter 실행

$ nohup ./node_exporter &

정상적으로 포트 9100 에서 node_exporter 가 대기 중인지 확인하기 위해서, 다음과 같은 명령어를 입력해준다.

$ sudo netstat -tuln | grep 9100

---

2. 모니터링 서버와 타겟 서버 연결하기

타겟 서버의 Node Exporter에서 수집한 메트릭 데이터를 Prometheus로 가져오려면, 모니터링 서버의 Prometheus 설정을 변경하여야 한다.

2-1. Prometheus.yml 파일 수정

$ sudo vim prometheus.yml

2-2. 수정 사항 반영

$ sudo systemctl start prometheus

2-3. 도메인 접속하여 Node Exporter가 제대로 작동되는지 확인

브라우저로 http://[타겟 서버 IP]:9100/metrics 에 직접 접속하여, Prometheus 서버가 메트릭들을 제대로 잘 수집하고 있는지 확인한다.

여기까지 했을 때, Prometheus 는 메트릭들을 수집해주지만, '예쁘게' 보여주지는 않는다는 것을 알 수 있다.
모니터링하는 입장에서도, 수집한 메트릭들을 가독성 좋게 시각화 하는 것은 상당히 중요하다.

그래서 나는 메트릭 데이터를 시각화할 수 있는 Grafana 를 이용하기로 했다.

Grafana 란?
그라파나는 데이터를 시각화하여 분석 및 모니터링을 용이하게 해주는 오픈소스 분석 플랫폼입니다. 여러 데이터 소스를 연동하여 사용 할 수 있으며 시각화 된 데이터들을 대시보드로 만들 수 있습니다.

---

3. 모니터링 서버에 Grafana 대시보드 구성하기

3-1. Grafana 설치하기

$ sudo apt-get update
$ sudo apt-get install -y software-properties-common
$ sudo add-apt-repository "deb https://packages.grafana.com/oss/deb stable main"
$ wget -q -O - https://packages.grafana.com/gpg.key | sudo apt-key add -
$ sudo apt-get update
$ sudo apt-get install grafana

3-1. Grafana 서비스 시작

$ sudo systemctl start grafana-server
$ sudo systemctl enable grafana-server

---

4. 타겟 서버 Grafana 관련 설정 조정하기

우리 '프로토타인' 프로젝트는 현재 도커로 nginx 서버를 띄워서 실행 중이기 때문에, nginx 설정을 조정할 때 docker 내부 네트워크와 호스트 간의 연결 문제를 해결해야 한다.

4-1. Docker Compose 확인

$ sudo vim docker-compose-blue.yml

4-2. Grafana 와 Nginx 동일한 네트워크에 위치

• Docker Compose를 사용하므로, Docker 네트워크에 Grafana와 Nginx 컨테이너를 연결하여야 한다.
• 나는 현재 nginxserver 컨테이너가 위치한 ubuntu_default 네트워크에 Grafana 설정을 마쳤다.
  

이제 http://[서버 IP]:3000/grafana 로 접속해보면, 이런 로그인 창으로 리다이렉션 된다.

최초로 grafana에 접속하면, username 과 password 입력창에 모두 admin 을 입력하여 로그인하면 된다.

대시 보드가 성공적으로 띄워진 게 보인다🙇‍♀️

---

5. Grafana 를 통해 모니터링 대시보드 구성하기

5-1. Data Source 추가하기

어떤 데이터를 시각화할지 정해주는 설정 과정을 거치겠다. 우리는 Prometheus 서버로 메트릭을 수집하기 때문에 DB로 Prometheus를 클릭한다.

5-2. 대시 보드 build 하기

• Prometheus가 제대로 메트릭을 수집할 수 있는지는 다음과 같이 확인하면 된다.
  http://[Prometheus 서버 IP]/tragets
  
• State가 UP 인지 아닌지를 모니터링한다. node-exporter 로 설정한 타겟 서버의 메트릭이 잘 수집되었다는 것을 알 수 있다.

5-3. Prometheus 에서 PromQL 쿼리로 메트릭 조회해보기

• 유휴 상태를 제외한 전체 CPU 사용률(%)를 계산해주는 PromQL 쿼리를 날려준다.

rate(node_cpu_seconds_total{mode!="idle"}[1m])

5-4. 생성한 Grafana 패널 쿼리에 적용해보기

마찬가지로, 5-2에 생성했던 Grafana 대시보드에 해당 메트릭을 수집할 수 있도록 쿼리를 작성하여 날려준다.

[Run queries] 버튼을 누르면, 이렇게 메트릭이 수집되는 것을 알 수 있다.

혹은, visualization 의 옵션으로 들어가서 Gauge 를 적용하여 필요한 메트릭 정보를 집계하여, 패널로 만든 후에 대시보드를 구성할 수도 있다.

---

6. Prometheus 서버에서 AlertManager로 CPU 사용량 초과 경고 이메일 발송하기

6-1. Prometheus 서버에서 alerts.yml 파일 설정하기

내가 주안점으로 두는 CPU 점유율 메트릭에 대해, 타겟 서버의 CPU 점유율이 80% 이상이 되면 알람이 트리거되도록 설정하게 했다.
따라서 알람 설정을 해주는 YAML 파일을 만들어주었다.

6-2. alertmanager.yml 로 AlertManager 구성 파일 생성하기

프로토타인 프로젝트의 공식 이메일 주소는 Gmail이기 때문에, Google SMTP 를 이용하였다.

6-2. prometheus.yml 파일 수정하기

6-3. Prometheus 설정 반영하여 재시작

Promtheus가 터미널을 종료해도 계속 실행되게 하려면, nohup 명령어를 이용하여 다음과 같이 실행해주면 된다.

nohup ./prometheus --config.file=prometheus.yml > prometheus.log 2>&1 &

다시 Prometheus UI에 접속하면, Alerts 항목에서 HighCPUUsage 규칙이 활성화되었는지 확인한다.

active 상태로, 활성화되었음을 확인할 수 있다.

마치며

이제 다른 팀원에게 서버가 다운되었다는 소식을 전달받아, 뒤늦게 대응하는 일이 없도록 자동 알림 트리거를 구축해놓았다.
사실 이렇게 설정해놓았다만, 알림이 올 일이 없기를… 바라긴 한다...😂

또한, ec2 서버에 대해서만 모니터링을 하게 설정 해놓았지만, 백엔드 서버 단계에서 모니터링하는 Spring Boot Actuator도 적용하면 좋을 것 같다는 생각을 했다.