사건의 발단

2024년 10월 28일, 고객사 운영 서버에서 문제가 발생하여 급하게 방문 지원하였다. 로그를 확인하여 보니 원인을 알 수 없는 예외만 출력되어 있었다. (멘붕)

시행착오(삽질)

1. 에러 로그를 추적하여 클래스 파일의 코드를 확인
2. NullPointerException 예외가 반복하여 발생
3. 이전에 문제 없는 클래스로 판단(별도의 패치도 적용하지 않았다고 함)
4. 문제 발생 이전의 상황 파악
5. Active-Standby 이중화 환경의 서버 중 하나(01번 서버)를 자체 재기동(reboot)하였다고 함
6. 그 과정에서 서버 간의 디스크 동기화 처리를 하는 프로그램의 오류로 01번 서버의 디스크가 비정상적인 마운트됨
7. 확인 결과, 라이브러리 경로의 디렉터리 일부가 ls -al 명령어의 출력 값이 아래와 같았음

total 129640
dr-xr-xr-x.  26 root root      4096 Sep 25 03:04 .
dr-xr-xr-x.  26 root root      4096 Sep 25 03:04 ..
(중략)
???????????   ? ?    ?            ?            ? err 

---

결과

umount 명령어를 통하여 해결하려 했으나 정상 작동하지 않아 02번 서버를 기동하여 정상 서비스 수행