AI 학습을 위한 GCP 설정(인스턴스 생성, VSCode 연결, Docker 환경설정)

bluegun·2022년 5월 2일
0

AI 경진대회나 개인적으로 도전하고 싶은 분야의 AI 학습을 위해 GPU 환경을 만들 필요가 있었다. 지금까지는 Google Colab을 무료로 활용해 왔지만, 이전에 사용해본 결과 무료로 쓰려면 GPU 사용한도가 있어 하루에 일정 이상 학습하면 GPU를 일정 기간 쓸 수 없는 문제가 있었다. 그래서 Colab Pro를 사용할까 고민했었는데, 연동할 카드가 없기도 했고, 이왕 할 거면 클라우드 환경에서 제대로 된 개발환경을 세팅해 학습해보는 게 좋을 것 같다는 생각이 들었다. 그래서 클라우드 환경 중 Google Cloud Platform(GCP)를 선택해 학습을 위한 환경을 설정하였다. GCP는 처음 사용 등록을 하면 300달러 치의 무료 사용량을 제공해 주어서, 부담없이 쓰다가 유료로 쓰기도 괜찮으면 그대로 사용하기 좋을 것 같아 선택하게 되었다.

처음 GCP에 가입해 무료 사용량 300달러를 얻을 수 있지만, 나의 경우 GPU 인스턴스를 활용하는 것이 주 목적이었기 때문에 머신 구성을 GPU로 하였다. GPU는 대부분의 리전에서 사용 불가능한 것 같았기에(서울이나 아시아 쪽은 다 안됐었던 것 같다.) 리전과 영역 탭은 건드리지 않았다.

추가로 부팅 디스크 탭에서 '현재 선택된 이미지의 경우 NVIDIA CUDA 스택을 수동으로 설치해야 합니다. 추가 비용이나 추가 작업을 피하려면 아래 버튼을 클릭하여 'CUDA 11.0을 사용하는 GPU 최적화 Debian 10' 이미지를 사용해 보세요.' 란 문구가 있어, 설치에 번거로울 것 같아 제안한 대로 이미지를 바꿨다.(이미지 전환을 누르면 자동으로 진행되었다)

인스턴스를 만들기를 하고 나면 인스턴스 창으로 이동하고 인스턴스를 생성하려고 할텐데, 생성이 안되고 에러가 뜰 것이다. 이는 구글 무료 체험판 상태로는 GPU 머신을 이용할 수 없기 때문으로서, 계정을 유료 계정으로 업그레이드 시켜줘야 한다. 에러 문구 대로 따라가면 계정 업그레이드가 가능했다.

하지만 이걸로 끝이 아닌데, 여전히 인스턴스가 생성이 안되고 에러가 뜰 것이다. 대략적으로 'GPUS_ALL_REGIONS' 문제로 보이는 에러 문구가 나올 텐데, 에러 문구에 나와 있는 '한계량 변경'? 정확히 기억나지 않지만 해당 문구를 클릭 시 할당량을 변경할 수 있는 창이 나올 것이다. 여기서 할당량을 0에서 1로 변경해주면, 구글 측에서 승인 후에 한도가 변경될 것이다(지금은 자동으로 된 건지 모르겠지만 나는 신청하자 마자 바로 승인이 됐다.)

이렇게 GCP에 GPU 사용이 가능한 VM 인스턴스를 생성할 수 있었다. 이후에 VSCode로 인스턴스를 연결하였다. Docker는 이번에 처음 사용하는데, 일단 Pytorch 이미지만 받아서 컨테이너를 생성해놓았다. 두 과정은 아래 두 블로그를 그대로 따라하며 진행하였다.

참고

GCP에 만든 VM 인스턴스를 VSCode로 연결하기 : https://amanokaze.github.io/blog/Connect-GCE-using-VS-Code/

Pytorch를 위한 Docker 사용법 : https://greeksharifa.github.io/references/2021/06/21/Docker/

0개의 댓글