AWS Snow Family(Snowball, Snowcone, Snowmobile)
안전한 휴대 기기를 가리킨다.
원격 컴퓨팅, S3 버킷에 데이터 보내거나 가져오기.
(활용 사례)
1. edge에서 데이터를 수집하고 처리
(Edge 컴퓨팅)
Snowcone,Snowball Edge
2. 데이터를 AWS 안팎으로 마이그레이션
(데이터 마이그레이션)
Snowcone,Snowball Edge, Snowmobile
- Snow Family를 이용해 데이터 마이그레이션 하는 이유
네트워크를 통해 대량의 데이터를 전송하면 시간이 오래 걸린다.
또한 연결 제한, 대역폭 제한, 데이터 전송 비용등의 문제가 있다.
Snow Family는 데이터 마이그레이션을 할 수 있게 해주는 오프라인 기기이다.
-> 우편으로 실제 물리적인 기기를 배송해준다.
-> 그럼 거기에 데이터를 로딩하고 다시 AWS에 송부한다.
-> AWS는 기기를 받아서 자체 인프라에 삽입한다.
-> 이후 사용자의 요구에 따라 데이터를 S3 버킷으로 가져오거나 버킷에서 내보낸다.
데이터 마이그레이션(Snowball, Snowcone, Snowmobile)
Snowball Edge
- 테라바이트/페타바이트 용량의 데이터를 AWS와 교환하기 위해 사용
- 데이터 전송 작업당 비용을 지불
- Snowball Edge안의 인터페이스는 블록 스토리지나, S3 호환 객체 스토리지를 제공
- 형태(2가지)
- 스토리지 최적화 형태
80TB 용량의 하드디스크 용량 제공
블록 볼륨이나, S3 호환 객체 스토리지로 사용 - 컴퓨팅 최적화 형태
28TB 용량 NVMe, 42TB HDD
- 스토리지 최적화 형태
- 활용 사례
(ㄱ) 대규모 데이터의 클라우드 마이그레이션
(ㄴ) 데이터 센터 폐지
(ㄷ) 재난 복구를 위해 데이터를 AWS에 백업
Snowcon
- 데이터 양이 적은 환경에 사용
- 2.1Kg, 드론 탑재?
- 에지 컴퓨팅, 스토리지, 데이터 전송에 사용
- 형태(2가지)
- 8TB HDD 스토리지 Snowcon
- 14TB SSD 장착된 Snowcon
- 사용 사례
(ㄱ) 공간 제약이 있는 환경
(ㄴ) 케이블, 배터리는 따로 준비 - AWS에 보내는 방법(2가지)
- 오프라인으로 데이터를 발송하는 방법
- Snowcon에 데이터를 담고 인터넷 연결이 가능할 때 데이터 센터에 연결하는 방법
AWS DataSync 서비스를 사용해 데이터를 다시 AWS에 전송
Snowmobile
- 데이터를 옮기는 실제 트럭
- 엑사바이트급 데이터를 옮길 수 있다.(1EB = 1,000PB = 1,000,000TB)
- 스노우모빌 한대의 용량은 100PB이다.(1EB = Snowmobile 10대)
- 안전하고 GPS 추적과 24시간 비디오 감시가 이루어짐
- 10PB 이상 데이터를 옮길 경우 Snowball보다 더 좋다.
정리
Snow Family 사용 방법
- AWS 콘솔에서 기기 배송 요청
- Snowball 클라이언트 또는 AWS OpsHub를 서버에 설치
- Snowball을 서버에 연결하고 클라이언트 안에서 파일 복사를 시작
- 준비가 다 되면 기기 반송(전자마커가 있어 올바른 AWS 시설로 배송)
- 데이터는 S3 버킷에 로딩될 것이다.
- 최고 수준의 보안조치에 따라 Snowball에서 데이터를 완전히 제거
에지 컴퓨팅(Edge Computing) - Snowball, Snowcone
에지 컴퓨팅 = 에지 위치에서 데이터를 생성하는 중에 그 데이터를 처리
에지 위치 = 인터넷이 없거나 클라우드에서 멀리 떨어져 있는 모든 것
-> 데이터를 만들지만 인터넷에 접속하지 못하는 공간 등등
-> 그런 장소에서 컴퓨팅이나 데이터 프로세싱을 실행 가능하게 해준다.
(활용 사례)
데이터 전처리, 에지에서 이루어지는 머신러닝, 미디어 스트림의 사전 트랜스코딩
데이터를 다시 AWS로 보내야 한다면 Snowcone이나 Snowball Edge 기기를 반송 가능.
즉, 에지 위치에서 데이터가 생성되는 곳에 아주 가까이서 데이터 처리 하고 반송
에지 컴퓨팅용 기기
(ㄱ) 에지 컴퓨팅 용 기기는 모두 EC2 인스턴스와 람다 함수를 실행할 수 있다.
(람다 함수를 위해 AWS IoT Greengrass 서비스 활용)
(ㄴ) 장기간 베포 옵션(렌트)
1년/3년까지 할인된 가격으로 이용
- Snowcone & Snowcone SSD
2개의 CPU, 4GB의 메모리, 유/무선액세스, USB-C/배터리 전원 옵션 제공. - Snowball Edge(컴퓨팅 최적화)
104개의 vCPU, 416GiB 램, 영상 처리나 머신러닝을 위한 GPU 옵션 제공
28TB NVMe나 42TB HDD 스토리지 제공
스토리지 클러스터링 최대 16개 노드에 제공
-> 스토리지 전체 사이즈 늘릴 수 있다. - Snowball Edge(스토리지 최적화)
40개의 vCPU, 80GiB 램, 80TB 스토리지 제공
AWS OpsHub
과거 이런 기기를 사용할때 CLI를 사용해야 했지만 AWS에서 OpsHub를 만들었다.
OpsHub는 컴퓨터나 노트북에 설치하는 S/W이다.(직접 다운로드)
OpsHub를 설치해 연결이 이루어지면 GUI를 사용해 Snow기기를 설정하고 사용할 수 있다
-> 여러 AWS 서비스들을 사용, 파일전송 등 여러 작업 가능
Solution Architecture: Snowball into Glacier(시험)
Snowball을 통해 Glacier에 불러올 수 있을까?
- Snowball은 Glacier에 데이터를 직접 끌어올 수 없다.
Glacier에 불러오려면 S3를 사용해서 수명 주기 정책을 생성해 Amazon Glacier로 객체를 전환할 수 있다.
