[AWS SAA] AWS Advanced Storage - Snow Family

junghan·2023년 3월 20일

AWS SAA

목록 보기

30/51

AWS Snow Family

• Edge(극한의 환경? 광산이나 섬 같은 곳)에서 데이터를 수집 및 처리하고 AWS 안팎으로 데이터를 마이그레이션하는 매우 안전한 휴대용 장치입니다.

Data migration:

Edge computing:

Snowball Data Migrations

위을 표를 보면 네트워크를 통해서 많은 데이터를 전송하려면 아주 오랜 시간이 걸립니다. 예를 들어 1PB를 전송하는 경우 초당 1GB의 네트워크 회선을 이용한다면 전송을 완료하는데 124일이 걸릴 겁니다. 즉, 전송할 데이터가 더 많아진다면 그 동안 어떠한 업무도 처리하지 못하고 데이터가 전송되기만을 기다리고 있어야겠죠 (124일 휴가다!)

해결해야할 문제:

• 제한된 연결성
• 제한된 대역폭
• 높은 네트워크 비용
• 공유 대역폭(회선을 최대화할 수 없음)
• 연결 안정성

그렇게 때문에 일반적으로 네트워크를 통한 데이터 전송 시, 일주일 이상의 시간이 걸린다면, Snowball장치를 검토하는 것이 유리합니다.

Snowball의 Migration 작동방식

만약 Amazon S3으로 직접 파일을 업로드하려면 클라이언트가 Amazon S3로 데이터를 전송할 겁니다

그런데 Snow 제품군의 Snowball 장치가 있는 경우에는, 클라이언트가 Snowball 장치를 요청하고 우편으로 받습니다.

배송을 위해 AWS 콘솔에서 Snowball 디바이스 요청합니다.
서버에 Snowball 클라이언트/AWS OpsHub 설치합니다.
Snowball을 서버에 연결하고 클라이언트를 사용하여 파일 복사합니다.
완료되면 기기를 반송합니다.
데이터가 S3 버킷에 로드됩니다.
Snowballdl 완전히 지워집니다.

다시 말해, AWS가 장치를 배송해 주면 로컬에서 데이터를 직접 장치로 옮겨담은 뒤, 그 장치를 AWS 시설의 AWS로 다시 배송하면 AWS 측에서 장치를 가져다 자체적인 인프라에 연결하고, Amazon S3 버킷에서 데이터를 불러오거나 내보내는 작업을 완료하는 것 입니다.

즉,네트워크가 아닌 물리적인 경로 데이터를 이동하는 것 입니다

SnowBall Migration 제품군

Snowball Edge(데이터 전송용)

• 물리적 데이터 전송 솔루션: AWS 내부 또는 외부로 데이터의 TB 또는 PB 이동
• 네트워크를 통한 데이터 이동(및 네트워크 요금 지불)에 대한 대안
• 데이터 전송 작업당 지불
• 블록 스토리지 및 Amazon S3 호환 객체 스토리지 제공
• Snowball Edge 스토리지 최적화
• 블록 볼륨 및 S3 호환 객체를 위한 80TB의 HDD 용량
저장
• Snowball Edge 컴퓨팅 최적화
• 블록 볼륨 및 S3 호환 개체 스토리지를 위한 42TB의 HDD 용량
• 사용 사례: 대규모 데이터 클라우드 마이그레이션, DC 폐기, 재해 복구

AWS Snowcone 및 Snowcone SSD

• 소형 휴대용 컴퓨팅, 어디서나 견고하고 안전하며 열악한 환경을 견딤
• 경량(4.5파운드, 2.1kg)
• 에지 컴퓨팅, 스토리지 및 데이터에 사용되는 장치
• Snowcone – 8TB의 HDD 스토리지
• Snowcone SSD – 14TB SSD 스토리지
• Snowball이 맞지 않는 곳에 Snowcone 사용(공간이 제한된 환경)
• 배터리/케이블은 직접 준비해야 합니다.
• 오프라인으로 AWS로 다시 보내거나 연결할 수 있습니다.
인터넷 및 AWS DataSync를 사용하여 데이터 전송

AWS 스노우모빌

• 엑사바이트 데이터 전송(1EB = 1,000PB = 1,000,000TB)
• 각 Snowmobile의 용량은 100PB입니다(여러 개를 병렬로 사용) • 높은 보안: 온도 제어, GPS, 24/7 비디오 감시 • 10PB 이상 전송하는 경우 Snowball보다 우수

Snow Family Data Migration 비교

Snowball Edge Compoting

Edge Compoting이란?

클라우드에서 멀리 있는 곳은 어디든 Edge location이라고 할 수 있습니다. 예를 들면 바다 위의 배나 섬, 지하의 광업소, 도로에 있는 트럭 등 여러 시설이 될 수 있겠죠. 이런 곳에서는 데이터를 만들기도 하지만 인터넷 연결은 제한되는 상황이기 때문에, snowball을 통해 컴퓨팅이나 데이터처리를 하게됩니다. 보통 Edge Compoting을 수행하기 위해 Snowball Edge/Snowcone 장치를 설정합니다. Snowball Edge는 컴퓨팅 능력을 갖추고 있으며, 데이터가 Snowball로 이동하는 동안 데이터를 사전에 처리할 수 있습니다.

에지 컴퓨팅 사용 사례:
• 데이터 전처리
• 에지에서의 기계 학습
• 미디어 스트림 트랜스코딩

SnowBall Edge Computing 제품군

Snowcone 및 Snowcone SSD(작음)
• CPU 2개, 메모리 4GB, 유선 또는 무선 액세스
• 코드 또는 옵션 배터리를 사용하는 USB-C 전원
Snowball Edge – 컴퓨팅 최적화
• vCPU 52개, RAM 208GiB
• 선택적 GPU(비디오 처리 또는 머신 러닝에 유용)
• 42TBusable 스토리지
Snowball Edge – 스토리지 최적화
• 최대 40개의 vCPU, 80GiB RAM
• 개체 스토리지 클러스터링 사용 가능
전체: EC2 인스턴스 및 AWS Lambda 함수 실행 가능(AWS IoT Greengrass 사용)
장기 배포 옵션: 1년 및 3년 할인된 가격

AWS OpsHub

과거에는 Snow Family 장치를 사용하려면 CLI(Command Line Interface 도구)가 필요했습니다. 하지만 현재 AWS OpsHub(컴퓨터/노트북에 설치하는 소프트웨어)를 사용하여 Snow Family Device를 관리할 수 있습니다.
• 단일 또는 클러스터 장치 잠금 해제 및 구성
• 파일 전송
• Snow Family 장치에서 실행되는 인스턴스 시작 및 관리
• 장치 지표(저장 용량, 장치의 활성 인스턴스) 모니터링
• 장치에서 호환되는 AWS 서비스 시작(예: Amazon EC2 인스턴스, AWS DataSync, NFS(네트워크 파일 시스템))