[Amazon AWS] (2) EC2 P3 instance 생성 절차 : AMI 선택 및 Quota Increase request(last update: 21.12.12)
Amazon AWS
0. Reference
AWS VPC 생성 후 EC2 생성하기
https://twofootdog.tistory.com/27/
Conda를 사용하는 Depp Learning AMI
https://docs.aws.amazon.com/ko_kr/dlami/latest/devguide/overview-conda.html
get started with deep learning using the aws deep learning ami
https://aws.amazon.com/ko/blogs/machine-learning/get-started-with-deep-learning-using-the-aws-deep-learning-ami/
Pricing Information - AWS Deep Learning AMI (Ubuntu 18.04)
https://aws.amazon.com/marketplace/pp/prodview-x5nivojpquy6y?ref=cns_srchrow/
ec2 on demand instance vCPU increase
https://aws.amazon.com/ko/premiumsupport/knowledge-center/ec2-on-demand-instance-vcpu-increase/
Amazon EC2 Dedicated Hosts Pricing
https://aws.amazon.com/ec2/dedicated-hosts/pricing/?nc1=h_ls
1. Introduction
대용량(일일 400GB의 사례)의 데이터를 처리하기 위한 Amazon EC2 P3 Instance (p3.2xlarge) 생성 과정에 대해 순서대로 간략히 기술한다.
2. Explanation
2-1. Choose an Amazon Machine Image(AMI) and Operating System with'em
요구사항에 해당하는 p3 instance의 실행 절차로, EC2에서 p3에 해당하는 IME를 설치할 필요가 있다. 즉, 이에 해당하는 것으로는 Amazon SageMaker, AWS Deep Learning AMI, NVIDIA AMI가 해당된다. 생성된 P3 instance를 통해 추후 SARscape를 통한 작업을 염두에 두고 있으며, 이는 multi-GPU를 서비스하지 않으므로 single GPU 기반의 p3.2xlarge를 사용할 수 있는 AMI를 선택하도록 한다.
이에 따라 AWS Deep Learning AMI를 통해 P3 Instance를 실행하는 것으로 결론. OS로 RHEL(Red Hat - CentOS), Ubuntu, Windows를 지원하고 있다. 메뉴에서 EC2를 검색하여 메뉴에 진입, Launch Instance 버튼을 클릭하여 AMI(Amazon Machine Image) 선택 창에서 원하는 AMI를 선택한다.
참고로 Ubuntu 버전의 경우 16.04 버전과 18.04 버전이 존재하며, 이 두 버전의 차이는 Chainer Framework, Pytorch(16.04)/Pytorch ensorflow(18.04)의 지원 여부 등이다. (자세한 것은 레퍼런스 참고) 다만, 현재 요구사항에서 구버전 Pytorch 관련 예정된 것이 없으므로 Ubuntu 18.04 버전을 선택한다.
또한 DLAMI(Deep LearningAMI)을 구성하기 위해 가능한 region의 리스트는 위의 이미지와 같다.
이 전 단계에서 생성한 서브넷들은 us-east-1 region에 해당하므로, 계속 진행한다.
2-2. Try to launch new Instance : p3.2xlarge
생성하고자 했던 p3.2xlarge 타입을 지원하는 것을 확인하고, 선택한다. 참고로 Amazon DLAMI에서 p3.2xlarge를 지원하고 있는 region은 us-east: Virginia, Ohio, Oregon, Canada: central, EU: Frankfurt, Ireland, London 등이며, 해당 소프트웨어 및 infrastructure가 설치된 지역에 따라 금액과 인스턴스 타입이 다르다. US West (N. California) 지역에서는 p3.2xlarge 인스턴스 타입을 지원하지 않으니(해당 리전 선택하고 인스턴스 실행 시도 시 instance type을 선택하는 메뉴에 p3.2xlarge가 존재하지 않는다) 리전 선택에 주의한다.
생성한 Landsubsidence network(VPC) 및 subnet을 선택한다. 딥러닝 AMI에서 지원하는 region인 us-east-1로 서브넷을 이미 생성하였으므로, 해당 서브넷을 선택해 준다.
추가 저장공간이 필요하다면 4. Add Storage에서 추가 설정을 잡아주고, Tags/Security Groups 설정은 일단 건너뛴다. 리뷰 화면은 위와 같다.
인스턴스 생성 이전, 키파일이 존재하지 않는다면 신규로 생성해 준다.
잘 되는 것 처럼 보인다.
2-3. Get region-validation
안 된다.
위의 실행 실패 메세지를 살펴보면, 해당 리전에 대한 access validation이 되지 않았기 때문에 validation이 완료되기 전까지 부가적인 리소스를 실행할 수 없다는 내용이다. validation이 끝나는대로 이메일로 알려줄 것이며, 일반적으로 해결까지는 몇 분 가량이 걸리나, 과정 완료까지 4시간 여까지는 봐달라 - 그래도 해결이 안 되면 aws-verification@amazon.com으로 이메일을 발송하면 된다고 써 있다.
인증이 완료되고 이제 실행만 하면 될 줄 알았다.
안 됨.
(ㅋㅋ)
요청한(P3 Instance launch를 위해 필요한) vCPU 용량보다 현재 가지고 있는 vCPU 제한이 더 적어서 실행이 불가하다고 한다.
2-4. Quota Increase Request : Running dedicated P3 hosts
소량의 vCPU 증가 요청은 쉽게 가능하다.
먼저, 메뉴에서 Quota Increase Request (할당량 증가 요청)를 검색해서 Service Quota에 접근한다. 이후, AWS Services 검색창에서 Amazon Elastic Compute Cloud (EC2) 를 검색하고, 선택한다.
다시 등장한 검색창에서 P3를 검색한다.
여기서 주의할 점은, All P Spot Instance Requests와 혼동하지 않아야 한다! P를 검색해서 나온 P 타입 인스턴스 할당량이라길래 저건 줄 알았는데, 알고보니 P3를 실행하기 위한 전용 할당량이 별도로 존재한다. 명칭은 Running Dedicated P3 Hosts로, P3 Hosts를 실행하기 위한 전용 - 할당량이다. 직관적인 이름이다. 검색창에 P만 치고 이건가보다 하면서 All P Spot Instance Requests 할당량 증가 요청을 하지 않도록 한다.
알맞는 할당량 항목을 골랐다면, Request quota increase를 클릭한 후 원하는 quota value (할당량 값)을 입력한다. 참고로 p3.2xlarge 인스턴스를 실행하기 위해 필요한 vCPU 값은 8이다.
증가 요청이 완료되었다.
