AWS Snow Family(스노우 제품군)?

AWS Snow Family(스노우 제품군)는 AWS에서 두 가지 사용 사례를 가진 매우 안전한 휴대용 장치이다. 엣지에서 데이터를 수집 및 처리하거나 AWS 내부 및 외부로 데이터를 마이그레이션 하기 위해 사용된다. 데이터 마이그레이션에는 두 가지 사용 사례(데이터 마이그레이션, 엣지 컴퓨팅)가 있으며 세 가지 유형의 장치가 있다.

• 데이터 마이그레이션 : Snowcone, Snowball Edge, Snowmobile
• 엣지 컴퓨팅 : Snowcone, Snowball Edge

데이터 마이그레이션을 스노우 제품군을 사용하여 데이터 마이그레이션을 수행하는 이유는 네트워크를 통해 많은 데이터를 전송하는데에는 많은 시간이 소요되며, 때로는 AWS에 빠르게 전달되기를 원할 때도 있다. 그리고 소규모 네트워크 전송외에도 연결성과 대역폭이 제한된다는 점이 있다. 그래서 스노우 제품군이라는 데이터 마이그레이션을 위한 오프라인 장치가 필요하게 되었다. AWS는 우체국에서 실제 물리적 장치를 보내주며 데이터를 로드한 다음 AWS로 반환해야한다. 따라서 네트워크를 통해 데이터를 전송하는 데에 일주일 이상 소요된다면 스노우 제품군을 이용하는 것이 유리하다.

스노우 제품군을 이용하는 예시는 다음과 같다. 고객이 S3에 데이터를 직업 업로드하여 데이터를 보내는 경우 스노우 제품군의 경우 예를 들어 스노우 볼 제품을 요청하면 AWS에서 오프라인 장치를 배송한다. 그 후 고객은 데이터를 로컬에서 장치에 직접 로드한 다음 장치를 다시 AWS로 배송하여 AWS 시설에 제공한다. 그러면 AWS에서 해당 장치를 자체 인프라에 연결한다. 그런 다음 S3 버킷에 수행하려는 작업에 따라 데이터를 가져오거나 내보내게 된다. 실제로 네트워크 경로가 아닌 물리적인 경로를 통해서 데이터를 로드하게 된다.

마이그레이션용 스노우 제품군의 장치

Snowball Edge

• 테라바이트 또는 페타바이트의 데이터를 AWS 안밖으로 이동시키는데 이용된다.
• 네트워크를 통해 데이터를 이동하는 것의 대안이 된다.
• 전송 작업당 비용을 지불하고 스노우볼 엣지 내의 인터페이스는 블록 스토리지 또는 아마존 S3 호환 객체 스토리지를 제공한다.
• 스노우볼 엣지에는 두가지 유형이 있다.
  • 80TB의 HDD 또는 210TBdml NVMe 용량을 제공하는 스노우볼 엣지 스토리지 최적화 (블록 볼륨 또는 S3 호환 객체 스토리지에 적합)
  • 42TB 또는 28TB의 공간을 위한 스노우볼 엣지 컴퓨트 최적화
• 더 많은 저장 공간이 필요하다면 스노우볼 엣지 스토리지 최적화라는 유형이 적합하다.
• 사용 사례로는 대규모 데이터 클라우드 마이그레이션을 수행하여 데이터 센터를 폐기하거나 데이터를 AWS에 백업하여 재해 복구를 수행하는 용도로 사용된다.

AWS Snowcone & Snowcone SSD

• 매우 작은 휴대용 장치이며 견고하다. 가볍고 드론에도 장착할 수 있다.
• 안전하고 열악한 환경을 견딜 수 있으며 데이터 양이 적은 환경에 적합하다.
• 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용된다.
• 두 가지 유형이 있다.
  • 8TB의 HDD 스토리지가 포함된 스노우콘
  • 더 빠른 디스크가 필요한 경우, 14TB SSD 스토리지의 스노우콘 SSD
• 공간이 제한된 환경과 같이 스노우볼이 맞지 않는 곳에서는 스노우콘을 사용
• 배터리와 케이블을 직접 준비해야 한다.
• AWS로 다시 배송할 때, 오프라인으로 배송하여 전송하거나 데이터를 수집한 후에 인터넷 연결이 가능한 데티어 센터에 이 장치를 연결하여 AWS DataSync 서비스를 사용하여 데이터를 전송할 수 있다.

AWS Snowmobile

• 실제로 데이터를 전송할 트럭 (진짜 트럭)
• 스노우모빌을 사용하면 엑사바이트 규모의 데이터를 전송할 수 있다. (1EB = 1,000PB = 1,000,000 TBs)
• 각 스노우모빌의 용량은 100PB이다. 따라서 1EB에 도달하려면 10대의 트럭이 필요하다.
• 10PB 이상의 데이터를 전송하는 경우 스노우 볼보다 나은 방안이 될 수 있다.

Snow Family 사용 프로세스

1. 콘솔에서 장치 배송을 요청하면 AWS로 부터 스노우 제품군이 배송됨
2. 스노우볼 클라이언트를 설치하거나 AWS OpsHub를 서버에 사용
3. 스노우볼을 서버에 연결하고 클라이언트에서 파일 복사를 시작
4. 장치를 AWS로 반송
5. 준비가 되면 잉크 마커로 인해 데이터가 올바른 AWS 시설로 이동
6. 데이터는 S3버킷에 로드된 다음 스노우볼은 가장 높은 보안 조치에 따라 완전히 삭제

Edge Computing

엣지 컴퓨팅은 엣지 로케이션에서 데이터가 생성되는 동안 데이터를 처리하는 것을 의미하며 엣지 로케이션이란 실제로 인터넷이 없어나 클라우드에서 멀리 떨어진 곳을 의미한다. 예를 들어 도로에 트럭이 있거나 바다에 배가 있거나 지상에 광산 기지가 있는 경우를 엣지 로케이션이라고 한다. 데이터를 생산할 수 있지만 반드시 인터넷 연결이 되어 있는 것을 아니기 때문에 연결이 제한되거나 인터넷에 액세스할 수 없고 또는 컴퓨팅 성능에 액세스할 수 없는 경우 이러한 위치들에서 데이터 처리를 계속 실행하고 싶다면 엣지 컴퓨팅을 활용해야한다.

엣지 컴퓨팅을 수행하려면 스노우볼 엣지 장치나 스노우콘을 주문하고 이를 엣지 로케이션에 내장하고 엣지 컴퓨팅을 시작할 수 있다. 엣지 컴퓨팅의 사용 사례는 데이터를 전처리하고 엣지에서 기계학습을 수행하는 것이다. 따라서 클라우드로 돌아가지 않고도 주요 스트림을 미리 트랜스코딩하고 필요에 따라 AWS로 전송해야 하는 경우 스노우콘 또는 스노우볼 엣지용 장치를 다시 배송하면 된다.

엣지 컴퓨팅용 스노우 제품군

모든 스노우콘 장치는 EC2 인스턴스와 람다 기능을 실행할 수 있다. 람다 기능의 경우 AWS IoT 그린그래스 서비스를 활용하며 웹사이트에서 오랫동안 보유할 수 있기 때문에, 실제로 임대할 수 있다.

Snowcone & Snowcone SSD (smaller)

• 두 개의 CPU에 메모리 4GB, 유무선 액세스를 제공
• 전원을 공급하기 위한 USB-C 또는 옵션 배터리가 있다.

Snowball Edge - Compute Optimized

• 약 104개의 vCPU와 416GB의 RAM을 갖추고 있다.
• 비디오 처리나 기계학습을 위해 선택적으로 GPU를 추가할 수 있다.
• 저장 용량으로는 28TB의 NVMe 또는 42TB의 HDD를 사용할 수 있다.
• 최대 16개의 노드까지 클러스터링하여 전체 스토리지를 확장할 수 있다.

Snowball Edge - Storage Optimized

• 40VCPU, 80GB 램 및 80TB 스토리지를 제공
• 또는 최대 104VCPU, 416GB 램 또는 210TB 스토리지를 제공

AWS OpsHub

과거에는 스노우 제품군을 활용하기 위해서 CLI가 필요했지만 사용하기가 매우 어려웠다. 그래서 AWS에서 이를 인식하여 컴퓨터나 노트북에 설치하는 소프트웨어인 AWS OpsHub를 만들었다. AWS OpsHub는 클라우드에서 사용하는 것이 아닌 컴퓨터에 다운로드해서 사용해야 하는 항목으로 스노우 장치에 연결하고 구성하고 사용할 수 있는 인터페이스를 제공한다.