프로젝트를 진행하다 보면 예상치 못하게 GCP VM 인스턴스의 용량이 가득 차는 경우가 발생할 수 있습니다. 저도 100GB로 설정한 VM 인스턴스에서 데이터를 다운로드하고, 여러 모델을 학습시키다 보니 어느새 용량이 가득 차버리는 상황을 맞닥뜨렸습니다. 용량이 가득 차면서 SSH 연결도 끊기고, 터미널도 사용할 수 없는 절망적인 상황 이였습니다..!
문제 발생 원인
용량이 큰 데이터셋을 여러번 다운받고, 학습된 모델, 로그 파일 등이 쌓이면서 디스크 용량이 점차 줄어들어서 발생 했습니다. 특히 딥러닝 모델의 경우, 학습 중 생성되는 체크포인트나 로그 파일이 상당한 용량을 차지할 수 있습니다. 이로 인해 디스크가 가득 차면 더 이상 데이터를 쓸 수 없게 되며, SSH 연결도 끊기는 문제가 발생할 수 있습니다.
해결을 위한 시도들
이 문제를 해결하기 위해 여러 가지 방법을 시도해봤습니다:
- 스냅샷을 사용해 데이터 백업 후 새로운 디스크로 업데이트 시도:
기존 VM의 데이터를 스냅샷으로 저장하고, 새 디스크를 추가한 후 VM 디스크를 업데이트해보았습니다.
- 새로운 VM을 생성하고 기존 디스크 추가:
새로운 VM을 생성한 뒤, 기존 디스크를 추가해보았습니다. 그러나 프로젝트 간 데이터 이동이 원활하지 않아서 실패했습니다.
- 디스크를 다른 프로젝트로 이동:
기존 프로젝트의 디스크를 다른 프로젝트의 VM에 연결하여 사용해보려 했지만, 예상만큼 쉽게 되지 않았습니다.
이러한 방법들을 시도했지만, 모두 원하는 결과를 얻지 못했습니다. (이론적으로 가능한건데 제가 잘 못한 걸 수도 있습니다..)
최종 해결 방법: 새 VM 생성 후 디스크 추가 및 마운트
여러 시도 끝에 해결한 방법은 의외로 간단했습니다:
- 새 VM 생성:
- GCP에서 새로운 VM 인스턴스를 생성합니다.
- 기존 디스크 추가:
- 새로운 VM 인스턴스를 생성할 때, 기존에 사용하던 디스크를 추가합니다.
- 디스크 마운트:
- 새로운 VM에 로그인한 후, 추가한 디스크를 마운트합니다.
- 마운트 방법:
sudo mkdir /mnt/disks/old_disk
sudo mount /dev/sdb /mnt/disks/old_disk
여기서 /dev/sdb는 추가한 디스크의 경로이며, 실제 환경에 맞게 경로를 변경해야 할 수 있습니다.
이렇게 간단한 방법으로 문제가 해결되었습니다. 기존 데이터를 잃지 않고도 용량 문제를 해결할 수 있었습니다.
결론
처음에는 복잡하고 어려운 방법들로 문제를 해결하려고 했지만, 결국 간단한 방법이 정답이었습니다. 이 글을 통해 비슷한 문제를 겪는 분들이 쉽게 해결할 수 있기를 바랍니다.
다음 글에서는 사용된 모델들과 성능 비교에 대해 다룰 예정입니다!
