AWS 스팟 인스턴스에서 Pytorch Yolov5 인공지능 학습

하스레·2022년 11월 5일
1
post-thumbnail
  1. 사이드바 > 인스턴스 > 스팟요청에서 스팟 인스턴스 다음과 같이 요청한다.
    표시한 부분만 바꿔주었고 나머진 디폴트 설정값을 따랐다.

    *키페어가 없다면 새로 생성하고 다운받자. 이부분 까먹지말고 유의!

  2. 허락이돼서 스팟 인스턴스를 할당받아 active가 되었으면 인스턴스 페이지로 가보면 러닝중인 인스턴스를 확인할 수 있다.

  3. 위 인스턴스를 우클릭하여 '연결'을 누르면 ssh 연결에 사용할 수 있는 명령어를 얻을 수 있다. 터미널에서 키가 있는 디렉토리로 이동한 뒤 이 명령어를 복붙하여 인스턴스에 접속한다(macOS나 리눅스 환경이라면 .pem 파일의 권한을 600으로 바꿔야 접속할 수 있다).

  4. 인스턴스에 접속하여 다음 명령어로 gpu를 확인할 수 있다.

$ nvidia-smi
  1. 다음 명령어로 가상환경 목록을 확인한다.
$ conda env list
  1. Pytorch 환경이 확인되면 가상환경을 실행시킨다.
$ source activate pytorch
  1. 다음 명령어를 통해 jupyter notebook을 실행시킨다. 모든 ip에서 접속할 수 있도록 해주었다.
$ jupyter notebook --ip=*
  1. jupyter notebook이 실행되고 터미널에 접속 url이 나오면 앞의 ip 부분을 aws 인스턴스의 퍼블릭 ip로 바꾸면 브라우저에서 접속할 수 있다!

※ 스팟 인스턴스 터미네이션 방지

  1. 스크린 사용
    https://www.youtube.com/watch?v=orIXr5xd6P0
  2. 브로큰 파이프 문제 예방
    https://may0301.tistory.com/10

참고
https://tensorflow.blog/2018/01/18/aws-%EC%8A%A4%ED%8C%9F-%EC%9D%B8%EC%8A%A4%ED%84%B4%EC%8A%A4-deep-learning-ami/

profile
Software Developer

0개의 댓글