💻 20240419 대용량 트래픽으로 인한 인스턴스 서버 포트 포화, 이로 인한 502 에러

📌 개요

대용량 트래픽을 대응하는 서비스를 운영 중이다. N년간 정상적으로 동작하고 있었고, 이상이 없었다. 그런데 지난주에 우연히 502 에러가 뜨면서 API 호출이 정상적으로 되지 않는 이슈를 발견했다. 서버 스케일 아웃으로 처리했고, 문제가 해결됐다고 생각했으나, 금일, 새벽 6시경 몰리는 트래픽으로 같은 이슈가 발생했고, 근본적인 문제 해결이 필요할 것 같다는 진단을 내렸다.

📌 원인 파악 (1) - Nginx 설정 체크

네이버 클라우드 플랫폼을 사용하고 있었고, 로드 밸런서(Auto Scaling), Nginx, PM2 서버로 이어지는 프로세스를 통해 백엔드를 구축했다. 간헐적으로 발생하는 502 에러와 nginx, error.log에 찍히는 99, 110, 111 에러를 확인했고, 혹시, nginx 설정에 이슈가 있을까를 의심하며 해당 에러가 뜨지 않도록 조치를 취하고자 노력했다. 반대로, nginx 설정이 이슈가 있었다면, 애초에 동작하지 않거나 이렇게 오랫동안 유지가 될 일이 없을 것 같다는 의문은 동시에 품고 있었다. 역시나, 기존 설정은 크게 문제가 없었고, 테스트를 위한 설정 변화에도 여전히 같은 이슈가 발생했다.

📌 원인 파악 (2) - 502 에러에 대한 고찰

어쨌든, 502에러는 부하로 발생한 것이라는 맥락을 잃지 않으며 다음 수를 고민했다. 결론적으로, 트래픽 증대로 인한 LB에서 Nginx로 가는 길 또는, Nginx에서 프록시 패스를 통해 실서버로 가는 길 이 두 길 중에 이슈가 있는 건 분명하다. 그래서, LB를 교체해 보았으나 실패, 그래서, 99번 에러를 보던 중, 우연히 어떤 한 포스팅을 발견했다. TIME_WAIT으로 인한 Local Port 고갈 문제를 다룬 해당 글을 토대로, 트래킹을 시작했고, 같은 이슈가 있음을 확인했다.

📌 해결 - 인스턴스 포트 유연성 부여

1. 포트 범위 증대 - AS_IS : 32768 ~ 60999 / TO_BE : 10240 ~ 65535
2. TIME_WAIT 포트 즉각 재사용

$ echo "10240 65535" > /proc/sys/net/ipv4/ip_local_port_range
$ sudo sysctl -w "net.ipv4.tcp_timestamps=1"
$ sudo sysctl -w "net.ipv4.tcp_tw_reuse=1"

📌 결론 - 모니터링과 로그를 확실히

1. 완전 무결성인 프로그램은 없다. 그래서, 모니터링, 로그를 확실히
2. 모니터링
   2-1) 매트릭들을 대시보드, 알람 설정을 통해 실시간으로 확인할 수 있도록 설정
   2-2) 모니터링 레벨을 정교하게 설정하여 닥쳐올 상황들을 인지하고 있기
3. 로그
   3-1) 로그 레벨별로 정밀하게 로그 쌓기
   3-2) 모니터링 시점과 연결하여 확인할 수 있도록 셋팅