[프로젝트] 👩‍💻 모니터링 시스템 재구축

2024.10.30 - 2024.11.07

이전까지는 기능 개발을 위해 쭉 달려왔다면, 레벨 5에 들어서부터는 각자 취업 준비로 바쁜 시즌이라 잠시 기능 개발을 멈췄다. 아직 본격적으로 취업 준비를 하고 있지 않은 나는 시소와 함께 그동안 적용해보지 못한 기능들을 하나씩 추가해 프로젝트의 완성도를 높이고자 했다. 첫시작은 모니터링 시스템 재구축이다 🚀

기존에는 모니터링을 위해 CloudWatch를 사용했다. 거의 로그 확인용으로만 사용했고 기본적인 서버 메트릭을 제외하고는 유의미한 정보를 얻기 어려웠다. 따라서 데모데이 요구사항 중 TPS 테스트를 진행할 때 특정 API의 속도가 느려지는 문제 원인을 파악하는데에도 한계가 있었다. 로그를 검색하고 확인하는데에도 불편함이 컸다. 다양한 메트릭 정보를 수집하고 로그 데이터를 보다 효율적으로 확인하기 위해 Loki, Prometheus, Node Exporter, Grafana를 활용해 모니터링 시스템을 구축했다.

모니터링 시스템 인프라 구성도

• 주요 메트릭 정보를 수집하는 prometheus와 loki는 prod 인스턴스와 같은 서브넷인 private subnet에 위치시켰다.
• grafana는 public subnet에 위치시켰다.

Grafana

데이터 모니터링 및 데이터 시각화

Dashboard 서버에 Grafana 설치

1. 설치에 필요한 패키지 설치

   sudo apt install -y apt-transport-https software-properties-common wget

2. Grafana GPG 키 추가

sudo mkdir -p /etc/apt/keyrings/
wget -q -O - https://apt.grafana.com/gpg.key | gpg --dearmor | sudo tee /etc/apt/keyrings/grafana.gpg > /dev/null

3. Grafana APT 저장소 추가

echo "deb [signed-by=/etc/apt/keyrings/grafana.gpg] https://apt.grafana.com stable main" | sudo tee -a /etc/apt/sources.list.d/grafana.list
sudo apt update

4. Grafana 설치 및 서비스 시작

sudo apt install grafana
sudo grafana-server -v

🧨 문제 상황 : Request Timed Out

grafana 설치 후 접속이 되지 않는 문제 상황이 있었다. 무작정 블로그를 따라 명령어를 친 것이 문제였다. 많은 글에서 grafana가 방화벽에 의해 차단될 수 있으므로 포트 3000을 열어주었다. 아래의 명령어를 실행했다.

sudo ufw enable 
sudo ufw allow ssh
sudo ufw allow 3000/tcp

현재 서버는 80, 443 포트만 열려 있고 nginx를 통해 80을 3000 포트로 리다이렉팅해주고 있었다. 방화벽으로 3000포트를 허용해주었지만 이외의 다른 포트는 허용하지 않았다. 따라서 80포트로 들어오는 요청이 차단되면서 nginx로 도달하기도 전에 접근이 차단된 것이다. ufw를 disable 해줌으로써 문제를 해결했다.

Loki & Promtail

Logback으로 남기는 로그 파일 모니터링

Promtail은 스프링 애플리케이션으로부터 쌓은 로그를 Loki로 전송한다. Loki는 Promtail로부터 로그를 받아 데이터 형태에 맞게 처리한다.

Monitoring 서버에 Loki 설치

wget https://github.com/grafana/loki/releases/download/v3.2.1/loki-linux-arm64.zip
unzip loki-linux-arm64.zip

2024-10-30 기준 최신 버전인 3.2.1 버전의 리눅스 arm64 버전을 다운받았다. Grafana와 호환이 되는지 확인하고 다운받는 것이 중요하다.

Loki 설정파일 다운로드

wget https://raw.githubusercontent.com/grafana/loki/v3.2.1/cmd/loki/loki-local-config.yaml

앞서 설치한 파일은 실행파일이기 때문에 설정 파일은 따로 다운받아야 한다.

PROD 서버에 Promtail 설치

wget https://github.com/grafana/loki/releases/download/v2.6.1/promtail-linux-arm64.zip
unzip promtail-linux-arm64.zip

wget https://raw.githubusercontent.com/grafana/loki/v2.6.1/clients/cmd/promtail/promtail-local-config.yaml

기본적으로 설치는 Loki와 비슷하다.

Promtail 설정파일 수정

server:
  http_listen_port: 9080
  grpc_listen_port: 0

positions:
  filename: /tmp/positions.yaml

clients:
  - url: http://{Loki 서버 IP}:{Loki 서버 포트}/loki/api/v1/push

scrape_configs:
- job_name: bang-ggood-log
  static_configs:
  - targets:
      - localhost
    labels:
      jobs: prod-app-log
      __path__: /home/ubuntu/actions-runner/server.log

🤔 Private IP로 요청을 보낼 수 있나?

/loki/api/v1/push 는 promtail에서 loki로 로그 데이터를 전송하는 API 앤드포인트이다. 이 앤드포인트는 loki의 데이터 저장소에 로그를 푸시하는데 사용된다. 현재 PROD 서버와 Monitoring 서버는 private IP와 private IP를 사용하고 있지만 서로 같은 서브넷에 있으므로 private IP로도 통신할 수 있다.

Grafana 연동

Prometheus & Spring Actuator

스프링 애플리케이션의 다양한 메트릭 정보 수집

Prometheus는 pull 모델을 사용해 애플리케이션과 서비스에서 메트릭 데이터를 주기적으로 수집한다. Spring Actuator는 스프링 애플리케이션의 관리 및 모니터링을 위한 라이브러리이다. Spring Boot Actuator는 /actuator/prometheus 엔드포인트를 제공하여 Prometheus가 수집할 수 있는 애플리케이션 메트릭을 노출한다.

PROD 서버에 Spring Actuator와 Prometheus 의존성 추가

// actuator
implementation 'org.springframework.boot:spring-boot-starter-actuator'

// prometheus
implementation 'io.micrometer:micrometer-registry-prometheus'

YML 추가

management:
  endpoints:
    web:
      exposure:
        include: httpexchanges, metrics, prometheus
  httpexchanges:
    recording:
      enabled: true
  prometheus:
    metrics:
      export:
        enabled: true

• 기본적으로는 /health 와 /info 2가지 endpoint만 deafult로 사용 가능하기 때문에 아래의 두 가지 정보를 추가했다.
• prometheus : prometheus가 사용할 수 있는 형식으로 애플리케이션의 메트릭을 노출한다.
• httpexchanges : 애플리케이션에서 발생한 HTTP 요청에 대한 메트릭을 노출한다. 커스텀 메트릭 정보가 필요하여 추가했다.

Monitoring 서버에 Prometheus 설치

wget https://github.com/prometheus/prometheus/releases/download/v2.53.3/prometheus-2.53.3.linux-arm64
tar -xzf prometheus-2.53.3.linux-arm64
cd prometheus-2.53.3.linux-arm64

// 실행
sudo nohup ./prometheus --config.file=prometheus.yml > prometheus.log 2>&1 &

압축해제 후 폴더 안의 prometheus.yml 설정파일을 수정해서 모니터링할 타겟 메트릭을 수집하는 방법을 정의한다.

...

scrape_configs:
  - job_name: "spring-actuator"
    metrics_path: /actuator/prometheus
    scrape_interval: 10s
    static_configs:
      - targets: [{PROD 서버 IP}]
  
  - job_name: "prometheus"
    static_configs:
      - targets: ["localhost:9090"]

/actuator/prometheus 를 통해 JVM (Java Virtual Machine) 메트릭, CPU 및 시스템 메트릭, HTTP 요청 메트릭, 데이터베이스 메트릭 (DataSource) 등등 다양한 메트릭을 확인할 수 있다.

🧨 문제 상황 : PROD IP 조회 실패

설정파일 변경 완료 후 모니터링 서버에서 PROD 서버 애플리케이션 정보를 가져올 수 있는지 확인하기 위해 curl 요청을 보냈지만 다음과 같이 404 페이지를 응답하는 문제 상황이 있었다.

curl http://{PROD 서버 IP}/actuator/prometheus

<html>
<head><title>404 Not Found</title></head>
<body>
<center><h1>404 Not Found</h1></center>
<hr><center>nginx/1.24.0 (Ubuntu)</center>
</body>
</html>

2시간 넘게 디버깅해본 결과 Nginx 설정 파일에 문제가 있다는 것을 알게 됐다. curl 요청시 404를 반환한다는 것은 연결 문제는 없다는 것을 의미한다. 다만 404를 반환한다는 것은 애플리케이션으로 요청이 도달하기 전에 Nginx단에서 바로 응답값을 내려준 것을 의미했다.

다음과 같이 80에 대한 요청을 응답할 수 있도록 설정을 추가해주었고 응답값이 제대로 오는 것을 확인했다.

server {
			listen 80;
			server_name _;
			
			...
}

# HELP application_ready_time_seconds Time taken for the application to be ready to service requests
# TYPE application_ready_time_seconds gauge
application_ready_time_seconds{main_application_class="com.bang_ggood.Application"} 15.385
...

Grafana 연동

🤔 스프링 메트릭 정보 어떻게 숨기지?

/actuator/prometheus 로 외부에서도 메트릭 정보가 노출되는 것을 확인했다. private 서브넷에 존재하는 Monitoring 서버에서만 메트릭 정보를 수집할 수 있도록 Nginx를 활용해 외부 접근을 차단했다.

Node Exporter

CPU 사용량, 메모리 사용량, 디스크 사용량 등과 같은 시스템 메트릭 정보 수집

PROD 서버에 Node Exporter 설치

wget https://github.com/prometheus/node_exporter/releases/download/v1.8.2/node_exporter-1.8.2.linux-amd64.tar.gz
tar xzvf node_exporter-1.8.2.linux-amd64.tar.gz
cd node_exporter-1.8.2.linux-amd64/

// 실행
sudo nohup ./node_exporter > node_exporter.log 2>&1 &

Monitoring 서버내 prometheus.yml 설정파일에 내용 추가

...
scrape_configs:
  - job_name: 'node_exporter'
    static_configs:
      - targets: [{PROD 서버 IP}]

Grafana 연동

마무리

우리 팀은 Docker를 사용하고 있지 않아 직접 설치하고 설정 정보를 변경하는 과정에서 많은 트러블 슈팅이 있었다. 이전에 모니터링 시스템을 구축했던 팀에게 물어보며 하나씩 해결했는데, 정말 쉽지 않았다. 덕분에 리눅스 명령어와 한층 가까워졌지만 그래도 다음부터는 Docker를 사용해야겠다고 느꼈다..ㅎㅎ 완성하고 보니 더 빨리 구축했으면 어땠을까 싶다. 수료까지 얼마남지 않았지만 남은 기간 잘 활용해볼 수 있었음 좋겠다 :)

참고
Prometheus & Grafana 모니터링 시스템 구축하기
Eden's Devpedia 🏄
[ubuntu] 그라파타 설치 방법
[Prometheus] prometheus 시작하기 (설치, 구성, 실행)
Actuator - Prometheus - Grafana를 사용한 모니터링 구축하기