실전 APM! 성능과 병목 지점 추적 - 1

Uicheon·2024년 11월 9일

apm 낙관락 분산락 성능테스트 트레이싱 항해플러스백엔드

전글과 전전글을 보고 오시면, 이해하기 더 수월합니다.

0. 어디가 문제지..? 😵

갑자기 슬랙 알림이 미친듯이 오더니, 서버 메모리는 터져서 다운 직전이고
내 API 요청의 응답시간은 10초를 넘어간다고 생각해보자.
그리고 모든 사람이 담당자인 나를 찾는다.

당신은 무슨일 부터 시작할 것인가?

답을 상상하며, 아래 케이스를 같이 보자.

1. APM 추적 심화편

현재 상황은 트래픽이 갑자기 솟구치는 상황입니다.
(엄청나게 많은 유저가 한번에 콘서트 좌석 예약을 시도하는 상황)

비관락은 전글에서 보았듯이, 성능이 뚜렷하게 낮으므로, 낙관락과 분산락을 중점적으로 비교해보겠습니다.

실험 제약

1,000 TPS
예약 가능한 좌석 수는 10,000개
4vCPU 8Gb VM 인스턴스 * 5개
2vCPU 8Gb MySQL 1개
2GB Redis 1개

APM 설정

한참 성능 테스트를 하며 결과를 받을 때 한계에 도달했습니다.
바로 어디서 병목이 일어나는지 확인이 불가능했기 때문입니다.

API의 요청 응답 시간만 주구장창 확인하며 실험을 계속 진행하기보다 실제로 각 요청에 얼마나 많은 시간이 소모되는지 확인하고자 하여, APM을 설정했습니다.

세가지 APM이 후보였습니다.

Oracle APM
OpenTelemetry + jaeger/zipkin
PinPoint

결론적으로는 OpenTelemetry + jaeger 조합을 사용했습니다.

opentelemetry-spring-boot-starter를 사용했습니다.
큰 설정없이 굉장히 많은 종류의 인프라를 알아서 트레이싱해주는 기능이 있습니다..만

제가 사용하고 있던 Redisson은 없었습니다.
그래서.. 해당 라이브러리가 아닌 OpenTelementry Java Agent와 Redisson Instrument를 사용하면 됐지만, 시간이 너무 많이 소모되어 직접 커스텀 span을 추가하는 방식으로 퉁쳤습니다.

LockId lockId = new LockId(type + "-" + id);
RLock rLock = redissonClient.getLock(lockId.getValue());
Span span = tracer.spanBuilder("RedissonLockManager.tryLock").startSpan();

Oracle APM과 PinPoint를 제외한 이유

처음엔 Oracle APM을 선택했습니다.
이유는 OCI 기반으로 실행하고 있었기에 현재 인프라와 잘 어울린다고 생각했기 때문입니다.

추가적으로 공식 문서만 봐도 짧은 시간안에 APM을 설정하고 값을 확인할 수 있었습니다.

그러나..

무료 버전(Always Free) 임에도 하루에 약 만원 정도가 지불되는 상황에 현실적으로 이용하기 어려웠습니다.

APM 리소스를 생성/삭제하는데에도 큰 시간이 들었고,
다시 생성한 APM 리소스 기반으로 Agent도 재설치 해야했습니다.

그래서 모든 Oracle APM 설정을 걷어내고, OpenTelementry 기반으로 바꿨습니다.