🎯 사건의 발단

팀플 MVP를 모두 구현 완료한 시점에서 해야할 것은 명확했다.

1. 리팩토링
2. 성능 개선
3. 기능 추가

일단 리팩토링으로 꼴보기 싫은 코드를 모두 새로 맞춰놓고, 성능 개선을 하기로 했다.

성능 개선을 위해서 정량 지표를 얻어 비교하는 과정이 필요했다.

막막하던 차에 그라파나, 프로메테우스라는 좋은 모니터링 도구를 알게 되었다.

이 글을 통해 모니터링 서버를 만들고, 성능을 비교할 수 있는 환경을 마련하려고 한다.

🧳 준비물

• 모니터링 대상 서버 EC2
• 모니터링 서버 EC2
• Spring Actuator
• Prometheus
• Grafana
• 억까에도 굳건한 정신력

🏛️ 구조

🧮 진행과정

마지막에 docker compose 로 쉽게 구성하는 방법도 추가해놨다.
ㄹㅇ 간단함

1️⃣ 모니터링 대상 서버 만들기

모니터링 대상이 있어야 한다.

노파심에 말하는데, 모니터링 서버는 따로 구축하는 것이 좋다.

그렇지 않으면 서비스에 필요한 자원과 트래픽이 모니터링에 의해서 줄어들 수 있기 때문이다.

일단 아마존 EC2를 활용해서 서비스 서버를 만들었다면 인스턴스가 따로 생성되어 있을 것이다.

2️⃣ 모니터링 대상 서버에 Spring Actuator, Prometheus 열어두기

우린 이 서버에 Spring FrameWork 에서 제공하는 Actuator 를 활용해서 모니터링 지표를 수집할거다.

Loki, Node Exporter, Spring Actuator 등 여러 지표가 있으나 나는 Spring Actuator 를 썼다.

일단 다른 것보다 적용하기 훨씬 쉽고 빠르다.

일단 나중에 더 비교해보기로 함.

서버에 적용하러 가보즈아.

빌드 종속성 추가

# build.gradle

dependencies {

	// Spring Actuator
    implementation 'org.springframework.boot:spring-boot-starter-actuator'

	// Prometheus
    runtimeOnly 'io.micrometer:micrometer-registry-prometheus'

}

모니터링 프로파일 설정

monitoring 프로파일로 설정한 내용이다.

포트번호를 9292로 했다.

Spring Actuator 기본 포트는 9090 이다.

포트 번호를 바꾼 이유는 보안 때문.

포트를 임의로 변경했기 때문에 다른 사람은 쉽게 예측이 불가능하다고 한다.

다른 부분은 Spring Actuator 를 통해서 접근 가능한 Endpoint 를 설정했다.

include 를 통해 설정했다.

이렇게 원하는 엔드 포인트를 열어둘 수도 있고, include: ‘*’ 와 같이 모든 엔드포인트를 열어둘 수도 있다.

# application-monitoring.yml

management:
  server:
    port: 9292
  endpoint:
    metrics:
      enabled: true
    prometheus:
      enabled: true

  endpoints:
    web:
      exposure:
        include: health, info, metrics, prometheus

보안 그룹 설정

EC2 인스턴스 > 보안 그룹 > 인바운드 규칙

이걸 설정해야 한다.

보던 바와 같이 9292 포트로 열어둔 인바운드 규칙을 설정하면 된다.

원본 CM은 0.0.0.0/0 으로 모든 인바운드를 허용했다.

됐는지 확인

http://{IP주소}:포트번호/actuator 로 접근했을때

이렇게 설정에 추가한 엔드포인트가 보이면 된거다.

3️⃣ 모니터링 용 EC2 서버 만들기

위에서 설명했다. 서비스용 서버와 트래픽, 자원을 나눠쓰지 않도록 모니터링 서버를 따로 구축해야 한다.

따라서 EC2 인스턴스를 따로 만들어야 한다.

이렇게 만들었다.

다른 EC2 와 별다른 차이점은 없다.

아직 스트레스 테스트를 상정하지는 않아서 프리티어 micro 인스턴스로 만들었다.

비싸긴 하지만, 탄력적 IP를 만들어서 매번 퍼블릭 IP 주소로 접근하지 않도록 했다.

참고로, Amazon Linux 로 만들었다.

4️⃣ 모니터링 용 서버에 프로메테우스 설치하기

방금 만든 EC2 인스턴스 프로메테우스를 설치할거다.

최신버전 설치 ㄱㄱ

Download | Prometheus

1. 프로메테우스 설치
2. 프로메테우스 압축해제
3. 프로메테우스 yml 설정
4. 프로메테우스 service 등록
5. 프로메테우스 service 실행

프로메테우스 설치

wget https://github.com/prometheus/prometheus/releases/download/v2.45.1/prometheus-2.45.1.linux-amd64.tar.gz

프로메테우스 압축해제

tar xzvf prometheus-2.45.1.linux-amd64.tar.gz

프로메테우스 yml 설정

먼저 압축 해제한 폴더로 이동해서 설정파일을 수정하면 된다.

-- yml 파일이 있는 경로로 이동
cd prometheus-2.45.1.linux-amd64/

-- prometheus yml 파일 설정
sudo vim prometheus.yml

프로메테우스를 설치하면 기본적으로 세팅되는 yml 파일이다.

여기서 주목할 것은 아래 코드로 빼놨다.

아래대로 설정한 후에 ESC + :wq 로 yaml 파일을 저장해야 한다.

scrape_configs:
    -- 작업 이름 (암거나 가능)
	- job_name: "prometheus"

		-- 지표를 가져오는 주기
		scrape_interval: 3s

		-- 프로메테우스 접근하는 endpoint 경로
		metrics_path: '/actuator/prometheus'

		-- 프로메테우스 가져오는 대상 서버 도메인
		static_configs:
			- targets: ["{모니터링 대상 IP주소}:{모니터링 대상 포트번호}"]

프로메테우스 service 등록

모니터링 EC2 인스턴스가 실행되면 바로 모니터링 서비스가 실행되도록 하고 싶다.

그러면 서비스를 등록해야 한다.

-- system 으로 이동
cd /etc/systemd/system

-- prometheus 서비스 파일 생성
sudo vim prometheus.service

이 내용을 복붙해주면 된다.

근데 원래 만들어져 있는 내용과 별 차이 없을거임.

[Unit]
Description=Prometheus
Wants=network-online.target
After=network-online.target

[Service]
User=prometheus
restart=on-failure
ExecStart=/etc/prometheus/prometheus \
		--config.file=/etc/prometheus/prometheus.yml \
        --storage.tsdb.path=/var/lib/prometheus \
        --web.console.templates=/etc/prometheus/console \
        --web.console.libraries=/etc/prometheus/console_libraries \
        --web.listen-address=0.0.0.0:9090 \
        --web.external-url=
        
[Install]
WantedBy=multi-user.target

프로메테우스 service 실행

-- 서비스 종료 (안해도 됨)
-- 근데 만약 설정을 변경하고 싶으면 먼저 멈춰야 함.
sudo systemctl stop prometheus.service

-- 데몬 다시로딩
sudo systemctl daemon-reload

-- 서비스 재시작
sudo systemctl restart prometheus.service

-- 서비스 상태 확인
sudo systemctl status prometheus.service

이렇게 active(running) 이면, 성공이다.

그 전에 보안 그룹으로 해당 포트를 열어두자.

보안 그룹 설정하기

9090 포트를 열어야 한다.

위와 마찬가지다.

확인하기!

http://{모니터링서버IP}:9090

프로메테우스는 기본 포트가 9090이다.

해당 경로로 요청하면 이 페이지가 나온다.

안 나오면 위 배너에서 status > targets

5️⃣ 모니터링 용 서버에 그라파나 설치하기

여기까지 되었으면 잘 된 거다.

이제 지표를 얻을 수도 있고, 실제로 얻기도 했다.

우리는 이걸 통해서 그라파나라는 UI 를 통해 화면에 띄워, 우리팀 전체가 확인할 수 있도록 하면 된다.

그라파나 설치

최신버전 ㄱㄱ

참고로 우리는 아마존 리눅스 버전으로 설치해야 한다.

Download Grafana | Grafana Labs

-- 설치
wget https://dl.grafana.com/enterprise/release/grafana-enterprise-10.2.2.linux-amd64.tar.gz

그라파나 압축해제

-- 압축 해제
tar -zxvf grafana-enterprise-10.2.2.linux-amd64.tar.gz

그라파나 서비스 설정

sudo systemctl enable grafana-server.service
sudo systemctl start grafana-server.service
sudo systemctl status grafana-server.service

보안 그룹 설정

설치 다 했으면 보안 그룹 설정하면 된다.

그라파나 기본 포트는 3000이다.

이걸 열어주면 된다.

확인하기!

http://{모니터링IP}:3000

해당 경로로 이동하면 그라파나 로그인 창이 뜬다.

초기 ID / PassWord 는 admin / admin 이다.

Data Sources 설정하기

이렇게 되도록 설정해주면 된다.

별거 없다.

프로메테우스 설정하고, 모니터링 서버 IP:포트번호를 설정해주면 된다.

대시보드 설정하기

여러 방법이 있다.

1. 직접 대시보드 설정하는 방법
2. 다른 사람이 만든거 import 해오는 방법
3. 다른거 뭐 하나 더

나는 Spring Boot 2.1 System Monitor 를 import 해서 대시보드로 사용했다.

이제 이 화면으로 우리팀은 성능 개선을 할 수 있게 된거다.

Docker Compose 로 쉽게 구성하는법

services:
  prometheus:
    image: prom/prometheus:main
    container_name: prometheus
    restart: always
    ports:
      - '{프로메테우스 포트번호}:{프로메테우스 포트번호}'
    volumes:
      - ./prometheus.yaml:/etc/prometheus/prometheus.yml

  grafana:
    image: grafana/grafana:main
    container_name: grafana
    restart: always
    ports:
      - '{그라파나 포트번호}:{그라파나 포트번호}'

🎁 결론

성능 개선에 대한 정량 지표를 바로 수집할 수 있는 환경을 마련했다.

이제는 감이나, 테스트로만 확인하는 것이 아니라, 실제로 프론트에서 요청을 날려보고 어떤 작업에서 문제가 발생할 수 있는지 확인할 수 있게 되었다.

일반 유저에게도 배포해서 확인하게 하면 좋을 것 같다는 생각이 든다.