ssh 접속이 안되어서 로그를 확인하고 찾아봤다.
No space left on device라는걸 보니 용량이 부족한것 같아서 gcp-부팅-디스크-용량늘리기 https://ballpen.blog/gcp-%EB%B6%80%ED%8C%85-%EB%94%94%EC%8A%A4%ED%81%AC-%EC%9A%A9%EB%9F%89/ 를 참고하여 해봤더니 용량을 늘려도 문제가 해결되지 않음 (아마 부팅 자체가 안되니 늘려논 용량이 적용되지 않아서 그런것 같았음 미리미리 확인하고 늘렸으면 아무 문제가 없었을 듯,,,)
그래서 부팅 디스크를 교체를 진행했다.
여기서 새로운 부팅 디스크로 교체할 경우 기존 서버 데이터를 날리게 되서 기존에 부팅디스크를 살리는 방법으로 진행했다.
- 문제의 부팅디스크로 스냅샷 생성
- 스냅샷을 기반으로 부팅디스크 만들기
- 스냅샷을 다른 vm에 추가 디스크로 할당
- 추가 디스크로 할당한 vm에 ssh로 접속하여 리눅스 명령어로 마운트 하여 sdbl안에 var/log 파일을 삭제하여 공간 확보
- 공간 확보후 다시 원래 vm에 부팅디스크로 설정
- 재시작 하면 추가로 늘려놓은 저장공간이 할당되어 늘어나있음
위의 방법으로 진행하니 문제가 해결됨 앞으로는 부팅 디스크 미리미리 확인 해야겠다.
복구하면서 사용한 리눅스 명령어 정리
du -sh * | sort -hr 명령으로 용량 많은순으로 확인
df -h 파일 시스템 용량 확인
df -Th
lsblk 전체 구성 및 디렉토리 확인
맨 앞 디렉토리로 이동하여 sudo mkdir /mnt/newdisk 명령어로 디렉토리를 만들어줘야함
sudo mount -o discard,defaults /dev/sdb1 /mnt/newdisk
sudo mount -o discard,defaults [DISK_NAME ex) /dev/sdbl] /mnt/newdisk 디스크 마운트
umount /mnt/newdisk 디스크 언마운트
https://cloud.google.com/compute/docs/disks/recover-vm?hl=kodf 손상된 vm 복구 공식 문서
