visualvm으로 모니터링하던 서버에서 갑자기 cpu 사용량이 100%대로 치솟는 현상이 발생했다.
이런 적은 처음이라 걱정이 됐고
일단 빠르게 조치를 취해야겠다는 생각이 들었다.
이때 활용할 수 있는 게 우분투의 rkhunter이라고 한다.
# 먼저 패키지 목록 업데이트
sudo apt-get update
# rkhunter 업데이트
sudo apt-get install --only-upgrade rkhunter
# 그 다음 파일 속성 데이터베이스 업데이트
sudo rkhunter --propupd
# 이제 검사 실행
sudo rkhunter --check --report-warnings-only이렇게 하면 루트킷을 찾아낼수 있다.
루트킷(rootkit)은 악의적인 목적을 가진 공격자가 시스템에 침투하여 사용권한을 얻어낸 후 백도어 프로세스나 파일 등을 심어놓고 시스템 상에서 정상적인 관리자가 흔적을 볼 수 없도록 하는 프로그램을 의미한다.
여기서 결과는 ssh 설정을 내가 변경한것과 java의 설정 파일과 관련된 것들만 나왔다.
루트킷으로는 딱히 문제가 없던 것으로 보인다.
/var/log/rkhunter.log를 통해서 결과도 확인할 수 있다.
nmap으로 ip스캔도 해보면 좋다.
이건 외부 pc에서 해야 하기 때문에 로컬 pc로 스캔을 했다.
현재 열려 있어야 하는 http, https 포트만 열려 있었다.
syslog를 보면 그 당시에 nginx와 fail2ban을 재시작하면서 cpu 스파이크가 일어났던 것으로 보이는데... 계속 조심해서 살펴봐야겠다.
혹시 몰라서 auth.log를 통해서
cat auth.log | grep Accepted\ password\ for\ test\ from
이렇게 하나씩 조회해봤는데
이런 ip가 Accepted됐다고 해서 순간...피가 식는 기분이었다...
github에서 공개한 CI/CD IP 주소를 보니 저 범위에 속한 IP인 것으로 보인다.
이때 내가 github ci/cd를 해서 그걸로 ssh 접속한 기록이 남은 듯하다...
netstat -antp//네트워크 확인
last -n 100 //최근 접속한 ip 확인
w //현재 접속한 세션 확인
/etc/passwd// 사용자 관리 계정확인(uid 값이 0인 경우)
rpm -Va | grep ^..5 //rpm 변조 유무 확인 -->Rpm 변조되었을 경우, os 부분까지 변조되어 정상 서비스가 어렵기 때문에 os를 재설치
이것들도 해주자.
sudo apt install unattended-upgrades //자동 업데이트도 해주자
sudo apt install clamav//우분투용 백신을 깔자
$ sudo lsof /var/log/clamav/freshclam.log
$ sudo pkill -15 -x freshclam
$ sudo /etc/init.d/clamav-freshclam stop
$ sudo freshclam
$ sudo /etc/init.d/clamav-freshclam start
sudo clamscan -r DIRECTORY//바이러스 검사
clamscan -r / //전체 하위 디렉토리 검사
clamscan -r / --move=/virus //바이러스에 감염된 파일을 /virus 폴더로 강제 이동
약 48분에 걸쳐서 백신으로 스캔을 했다. 다행이 문제는 없었다.
참고자료
