용량 부족으로 죽어버린 Mongo

비모·2022년 5월 2일
0

예창을 발표를 앞두고 어플리케이션 시뮬레이션을 하던 중 몽고가 죽어버렸다는 소식이 왔다...

MVP였던 어플리케이션이기도 하고 정식버전을 준비하느라 너무 방치했던 것, 무엇보다 서버 상태를 모니터링하지 않아 발생한 이슈였다.

EC2 접속 후 mongo 확인

먼저 EC2에 들어가서 mongo service 상태를 확인했다.

service restart, start, --reapir 를 몇번 반복해도 위와 같이 Mongo가 죽어 Mongo 로그를 확인해보았다.

Unclean full-time diagnostic data capture shutdown detected,...

처음 해당 로그를 발견했을 때 metrics may have been lost 라는 로그를 보고 마음이 철렁 내려앉았다.

특히 mongo shell도 접속이 안되기에 무슨 매우 당황했는데, 일단 mongo부터 정상화 시키고 확인하기로 했다.

지속되는 diagnose 오류

Google에 해당 로그를 검색했더니 diagnose 오류가 발생했으므로 해당 부분을 날려라.. 재시동해라.. 이런 여러 글이 있었지만 모두 실패했다.


mongo community에 있던, 내 마음을 대변해주는 시원한 답글이었다..

지푸라기라도 잡는 심정으로

일단 뭔가 초기화에 문제가 있다는 것은 확실, 에러코드는 같았으므로 원초적인 file i/o부터 잡아보기로 했다.

이 때 불현듯 떠오르는 EC2의 요금.
MVP가 끝났기도 했고 너무 EC2를 크게 잡고 있는 것 같아 EC2를 완전 프리티어로 낮춰버렸었다.

그래서 용량부터 한번 확인해봤는데

용량이 터졌다... ㅋㅋㅋ....

용량확보를 위한 로그 삭제

일단 확보할 수 있는 용량이 뭐가 있을까 하다가 몽고 로그가 가장 만만해서 로그를 날렸다.

로그를 날리고 재시동을 해보니...

재시동을 불가하지만 exit code는 바뀌어 해당 용량문제였던 것으로 일단 확인했다.

위 오류는 간단하게 권한문제기 때문에 실행권한을 주어 해결했다.

Mongo Service 정상화

다행히 다음과 같이 Mongo가 떠주었다.

Application test

ios/android 어플리케이션을 켜서 테스트를 진행하는데 안되서 당황했다.

3분있다가 다시 시도하니까 잘되었다.

0개의 댓글