AWS Snow Family

AWS Snow Family

• 보안성이 뛰어난 휴대용 장치의 모음입니다.
• AWS 내에서 두 가지 경우에 사용합니다.
  • 엣지에서 데이터를 수집하고 처리하기 위해 사용합니다.
  • AWS 안팎으로 데이터를 마이그레이션 할 때 사용합니다.
    
    
• 데이터 마이그레이션
  • Snowcone, Snowball Edge 그리고 Snowmobile입니다
• 엣지 컴퓨팅
  • Snowcone 및 Snowball Edge

---

데이터 마이그레이션을 할 때 AWS Snow 제품군 사용 이유

• 네트워크로 데이터 전송 시,
  • 연결이 제한적입니다.
  • 대역폭이 제한적입니다.
  • 큰 데이터 전송 비용이 많이 발생합니다.
  • 대역폭 공유 문제
  • 연결의 안정성 문제

Snow 제품군은 오프라인에서 데이터 마이그레이션을 실행하는 장치입니다.

• AWS가 우편으로 물리적 장치를 보내주면 거기에 데이터를 끌어오고 다시 AWS로 전송하는 겁니다.
• 일반적으로 데이터 전송 시 네트워크를 사용할 경우 일주일이 넘는 시간이 걸린다면 Snowball 장치를 사용해야 합니다.

---

Snowball Edge (데이터 전송용)

• Snowball Edge는 보다시피 커다란 상자
• TB 혹은 PB 크기의 데이터를 AWS 안팎으로 전송할 수 있습니다.
• 네트워크를 대신해서 데이터를 옮길 수 있습니다.
• 데이터 전송 건마다 비용이 청구됩니다.
• Snowball Edge 인터페이스는 블록 스토리지를 제공하거나 Amazon S3 호환 객체 스토리지를 제공합니다
• 두 가지 옵션 :
  • Snowball Edge Storage Optimized
    • 블록 볼륨으로 사용할 수 있도록 80TB의 하드웨어 디스크 용량을 제공하거나 S3 호환 객체 스토리지를 줍니다.
  • Snowball Edge Compute Optimized
    • 42TB의 HDD 용량을 제공합니다.
• 사용 :
  • 데이터 센터 폐쇄를 위한 대량의 데이터 클라우드 마이그레이션하는 경우입니다.
  • AWS에 데이터를 백업함으로써 재해 복구를 하는 경우입니다.

---

AWS Snowcorn

• Snowball Edge보다 작아요
• 어디서나 컴퓨팅 가능한 작은 휴대용 장치입니다.
• 견고하고 안전합니다.
• 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용됩니다.
  • 용량이 작을 경우
• 8TB를 저장할 수 있습니다.
• Snowball 사용이 불가능할 때 Snowcone을 쓸 수 있습니다.
• 배터리와 케이블은 직접 준비해야 합니다.
• AWS 오프라인으로 다시 전송될 수 있습니다.
• 네트워크에 연결해서 AWS DataSync를 사용해 데이터를 재전송할 수 있습니다.

---

Snowmobile

• Snowmobile은 실제로 트럭입니다.
• Snowmobile가 전송하는 데이터는 EB(엑사바이트)에 달합니다.
  • 1EB는 1,000PB이며 1백만 TB와 같습니다.
• 보안성이 뛰어나고 온도 조절이 가능합니다.
• GPS 추적 및 연중무휴 비디오 감시로 굉장히 안전한 데이터 전송 방법입니다.

---

데이터 마이그레이션 방법 정리

---

Snow 제품군 - 사용 과정

1. 배송을 위해 콘솔에서 장치를 요청합니다.
2. Snowball 클라이언트나 AWS OpsHub를 서버에 설치합니다.
3. Snowball을 서버에 연결하고 파일을 복사합니다.
4. 준비가 끝나서 장치를 다시 보내면 올바른 AWS 시설로 바로 옮겨집니다.
5. 데이터가 S3 버킷으로 로드됩니다.
6. S3 버킷에 해당 데이터를 불러들이고 나면 가장 높은 보안 조치에 따라 Snowball은 전부 지워지게 됩니다.

---

엣지 컴퓨팅

• 데이터가 엣지 로케이션에서 생성될 때 실시간으로 처리하는 방식을 뜻합니다.
  • 엣지 로케이션이 인터넷이 없는 곳이나클라우드에서 멀리 있는 곳은 무엇이든 여기 해당될 수 있습니다.
  • 즉 연결이 제한되어 있거나 인터넷 액세스가 없거나 컴퓨팅을 할 수 없는 곳이지요.
    
    
• 이런 장소에서 컴퓨팅이나 데이터 처리를 해야 할 경우 바로 엣지 컴퓨팅이 필요합니다.
  • 따라서 Snowball Edge나 Snowcone을 주문해서 엣지 로케이션에 장착시키면 엣지 컴퓨팅을 시작할 수 있게 됩니다.
• 사용 :
  • 데이터 전처리
  • 엣지에서 머신러닝
  • 미디어 스트림 트랜스코딩
  • 데이터를 AWS로 재전송해야 하는 경우
• 다시 말해 데이터가 생성되는 곳의 아주 가까이에서 그 데이터를 처리하고, AWS로 보내는 겁니다.

---

AWS OpsHub

• 그래픽 인터페이스를 통해 Snow 장치에 연결해서 구성 및 사용할 수 있으니 아주 손쉬운 방법입니다.

  이것으로 단일 장치와 클러스터 장치를 잠금 해제하고 구성할 수 있으며 파일 전송이 가능해지고 Snow 장치에서 실행되는 EC2 인스턴스를 시작 및 관리할 수 있게 됩니다.
  또한 장치 메트릭 모니터링과 AWS 호환 서비스 실행이 가능합니다.
  EC2 인스턴스, DataSync 혹은 네트워크 파일 시스템 등이죠.

---

아키텍처: Snowball 에서 Glacier 까지

• Snowball은 Glacier에 데이터를 직접 끌어올 순 없습니다.
• 그렇게 하려면
  먼저 Amazon S3를 사용해서 수명 주기 정책을 생성하여 Amazon Glacier로 객체를 전환할 수 있습니다.
• Snowball이 데이터를 Amazon S3로 가져오면
  S3의 수명 주기 정책을 통해 해당 데이터가 Amazon Glacier로 전환됩니다.

---

Amazon FSx

Amazon FSx

• AWS의 관리형 서비스로, 타사 고성능 파일 시스템을 실행할 수 있습니다.
• 완전 관리형 서비스이며 S3나 EFS 대신 다른 서비스를 사용하고 싶을 경우 사용합니다.
• FSx를 타사 고성능 파일 시스템을 실행하는 방법으로 생각해야 합니다.
  • Lustre용 FSx
  • Windows File Server용 FSx

---

Amazon FSx for Windows (File Server)

• EFS는 Linux 시스템을 위한 공유 POSIX 시스템입니다.
• Windows와 Linux 컴퓨터에서 액세스할 수 있는 완전 관리형 Windows 파일 시스템 공유 드라이브를 제공합니다.
• Windows NTFS와 SMB 프로토콜을 지원합니다.
• Microsoft Active Directory 통합 기능이 있습니다.
• ACL, 사용자 할당 기능이 있습니다.
• Linux EC2 인스턴스에 탑재할 수도 있어서 Windows와 Linux 모두에서 작동합니다.
• 수십 GB/s, 수백만 IOP 그리고 수백 PB의 데이터를 처리할 수 있습니다.
• 스토리지 옵션
  • SSD
    • 이것은 지연 시간에 민감한 워크로드에 적합합니다.
    • 데이터베이스, 미디어 처리 데이터 분석
  • HDD
    • 홈 디렉토리나 CMS 등과 같은 워크로드용 하드 드라이브에 적합합니다.
    • 지연 시간의 중요도가 낮습니다.
    • 가격이 저렴합니다.
• VPN나 직접 연결 서비스를 써서 온프레미스 인프라에서도 액세스할 수 있습니다.
• 다중 AZ로 구성하여 가용성을 높일 수 있습니다.

---

Amazon FSx for Lustre

• Lustre는 대규모 컴퓨팅에 사용되는 분산 파일 시스템을 수행합니다.
• Lustre는 Linux와 Cluster에서 파생된 단어로
  고성능 컴퓨팅 즉, HPC에서 머신 러닝에 사용됩니다.
• 비디오 처리, 재무 모델링 전자 설계 자동화와 같은 애플리케이션에 사용됩니다.
• 대규모 처리 용량을 갖추고 있어서
  초당 100GB의 처리량과 수백만 IOPS 그리고 밀리 초 이하의 지연 시간을 제공합니다.
• 스토리지 옵션
  • SSD
    • 지연시간이 매우 짧습니다.
    • 임의의 파일 작업에 적합합니다.
  • HDD
    • 처리량이 많은 워크로드에 적합합니다.
    • 대용량이면서 순차적인 파일 작업에 적합합니다.
• Amazon S3로 무결절성 통합이 가능합니다.
  • 즉, FSx를 통해 S3를 파일 시스템으로 읽을 수 있다는 뜻입니다.
  • FSx에서 Amazon S3로 출력값을 다시 쓸 수도 있습니다.
• VPN 또는 직접 연결을 통해 온프레미스 서버에서 사용할 수 있습니다.

---

FSx 파일 시스템 배포 옵션

• Scratch File System
  • 임시 저장소
  • 데이터가 복제되지 않습니다.
  • 최적화 덕분에 버스트 처리량이 매우 높습니다.
  • 단기간 데이터를 처리해야 하거나 데이터를 복제하지 않고 비용을 최적화하려고 할 때 사용됩니다.
• Persistent File System
  • 장기 보관을 위한 스토리지
  • 데이터는 동일한 가용성 내에서 복제됩니다.
    • AZ 전체가 아니라 동일한 AZ 내에 복제되는 것입니다.
  • 민감한 데이터를 오래 처리하거나 보관하는 데 사용됩니다.

---

Storage Gateway

하이브리드 클라우드 for Storage

• 하이브리드 클라우드
  • 인프라의 일부는 AWS 클라우드에 두고 일부는 온프레미스에 있도록 하는 것입니다.
  • 사용 이유 :
    • 길어진 클라우드 마이그레이션
    • 보안 요건
    • 규정 준수 요건
    • 탄력 있는 워크로드 클라우드를 이용하기 위해
    • IT 전략
• S3는 사유 스토리지 기술 (EFS/NFS 와 다른)인데, 어떻게 S3 데이터를 온프레미스로 나타낼 수 있을까요?
• S3와 온프레미스 인프라 사이를 잇는 가교 역할
  AWS 스토리지 게이트웨이

---

AWS 스토리지 클라우드 네이티브 옵션

AWS 스토리지 게이트웨이

• 온프레미스 데이터와 S3의 클라우드를 연결합니다.
• 사용 :
  • 재해 복구
  • 백업 및 복원
  • 계층화된 스토리지
• 세 가지 유형
  • File Gateway
  • Volumn Gateway
  • Tape Gateway

---

File Gateway

• NFS와 SMB 프로토콜을 사용하여 액세스 가능하도록 S3 버킷을 구성할 수 있습니다.
• S3 표준, S3 IA, 또한 S3 One Zone IA 등의 스토리지 클래스 유형을 지원합니다
• 각 파일 게이트웨이의 IAM 역할을 사용하는 버킷 액세스가 보호됩니다.
• 가장 최근에 사용된 데이터는 파일 게이트웨이에 캐시됩니다.
• 파일 게이트웨이는 온프레미스의 여러 서버에 장착될 수 있습니다.
• 만약 사용자 인증이 필요할 경우
  온프레미스의 Active Directory와 통합되어 사용자 인증을 실행할 수 있습니다.

---

Volume Gateway

• S3의 iSCSI 프로토콜을 사용하는 블록 스토리지입니다.
• EBS 스냅샷으로 백업되는 볼륨을 가지게 되는데,
  필요한 경우 온프레미스 볼륨을 복구하는 데 도움을 줍니다.
• 두 가지 종류 :
  • Cached Volumes
    • 최근 데이터의 액세스 지연 시간을 줄일 수 있습니다.
  • Stored Volumes
    • 전체 데이터셋이 온프레미스에서 제공됩니다.
    • Amazon S3에 백업이 예약됩니다.

---

Tape Gateway

• 회사가 물리적 테이프를 써서 테이프 백업 시스템을 사용한다고 하면,
  테이프 게이트웨이를 사용하더라도 그 과정은 똑같고, 대신 테이프가 클라우드에 백업됩니다.

• 가상 테이프 라이브러리인 VTL

  • Amazon S3와 Glacier로 지원되며
    기존 데이터를 백업할 때 테이프 기반 프로세스 및 iSCSI 인터페이스를 사용합니다.
  • 백업 소프트웨어 판매 업체와 협업하기도 합니다.

  

---

Hardware appliance

• 온프레미스 가상화가 없으면 스토리지 게이트웨이 하드웨어 어플라이언스를 사용할 수 있습니다.
• Amazon.com에서 주문 가능합니다.
• 인프라에 미니 서버가 설치되면
  파일 게이트웨이나 볼륨 게이트웨이 혹은 테이프 게이트웨이로 설정할 수 있게 됩니다.
• 물리적인 설치가 필요하며
  올바르게 작동하려면 충분한 CPU, 메모리, 네트워크 SSD 캐시 리소스 등이 필요합니다.
• 소규모 데이터 센터에서 매일 NFS 백업을 수행하지만 가상화가 불가능한 경우에 유용하게 사용됩니다.

---

정리

온프레미스 데이터와 클라우드 사이에 브리지가 필요하다면
스토리지 게이트웨이

네트워크 파일 시스템과 함께 Active Directory을 사용하는 선택적 사용자 인증이 필요하면
파일 게이트웨이
: 데이터는 백엔드의 S3으로 이동하겠죠.

볼륨, 블록 스토리지, 그리고 iSCSI 백업이 필요한 경우
볼륨 게이트웨이
볼륨 게이트웨이를 사용하면 EBS 스냅샷이 생성되어 Amazon S3의 지원을 받을 겁니다.

백업에 테이프 솔루션이 필요하면
테이프 게이트웨이

온프레미스 가상화 시스템이 없는 경우라면
소스 게이트웨이에서 하드웨어 어플라이언스를 주문하고 데이터 센터에 설치합니다.

---

Amazon FSx 파일 게이트웨이

• AWS에서 Windows 파일 서버 오퍼링을 위해 Amazon FSx로의 네이티브 액세스를 제공합니다.
• 자주 액세스되는 데이터의 로컬 캐시입니다.
• Windows에 완전히 호환되어 SMB 프로토콜을 사용할 수 있습니다.
  • NTFS 통합 및 Active Directory 등이 있습니다.
• 그룹 파일 공유 또는
  기업 데이터 센터의 홈 디렉터리를 백엔드에서 Amazon FSx로 백업하려는 경우 유용합니다.

즉 FSx 파일 게이트웨이를 사용하는 진짜 이유는
FSx나 파일 서버에서 자주 액세스되는 데이터에 대해 로컬 캐시를 얻도록 하는 겁니다.

---

AWS 전송 제품군

Amazon S3 또는 EFS의 안팎으로 데이터를 전송하려고 하는데
대신 S3 APIs는 사용하고 싶지 않을 때,
EFS 네트워크 파일 시스템도 사용하지 않고
FTP 프로토콜만 사용하려는 경우,
AWS 전송 제품군을 사용합니다.

• AWS Transfer for FTP (파일 전송 프로토콜)
• AWS Transfer for FTPS (파일 전송 프로토콜 오버 SSL)
• AWS Transfer for SFTP (보안 파일 전송 프로토콜)
  
  
• FTP는 암호화되지 않는 반면에,
  FTPS와 SFTP는 전송 중에 암호화된다는 것**
• 완전 관리형입니다
• 확장성, 안정성이 뛰어납니다.
• 가용성이 높습니다.
• 가격 책정
  • 시간당 프로비저닝된 엔드 포인트 비용에 전송 제품군 안팎으로 전송된 데이터의 GB당 요금을 더합니다.
• 서비스 내에서 사용자 자격 증명을 저장 및 관리할 수 있습니다.
• 기존의 인증 시스템과 통합할 수도 있습니다.
  • Microsoft Active Directory 또는 LDAP Okta, Amazon Cognito 또는 사용자 지정 소스입니다.
• 사용 :
  • 파일 공유 및 공개 데이터셋 공유
  • CRM, ERP

---

스토리지 비교

• S3
  • 객체 스토리지
• Glacier
  • 객체 아카이브
• EFS
  • Linux 인스턴스용의 네트워크 파일 시스템입니다.
  • POSIX 파일 시스템이니 다시 Linux용입니다.
  • 모든 EC2 인스턴스에서 동시에 액세스 가능하며 AZ 전반에 걸쳐 공유됩니다.
• FSx for Windows
  • EFS와 같지만 Windows를 위한 것입니다.
• FSx for Lustre
  • Linux와 클러스터로 고성능 컴퓨팅이 가능한 Linux 파일 시스템입니다.
  • 여기에서 HPC가 실행됩니다.
  • 상상 이상으로 IOPS가 높고 용량도 엄청납니다.
  • 백엔드에서 S3와 통합됩니다.
• EBS volumes
  • 네트워크 스토리지입니다.
  • 한 번에 EC2 인스턴스 하나만 액세스됩니다.
  • 생성된 특정 가용 영역 내부에 바인딩됩니다.
  • AZ를 변경하고 싶다면
    스냅샷을 생성해서해당 스냅샷을 이동시키고 거기에서 볼륨을 만들어야 합니다
• Instance Storage
  • EC2 인스턴스의 물리적 스토리지입니다.
  • 하드웨어에 연결되어 있기 때문에 EBS보다 훨씬 높은 IOPS를 가지게 됩니다.
  • 수백만 IOPS도 가능합니다.
  • EC2 인스턴스가 중단되면 해당 스토리지가 영구적으로 손실될 위험이 있습니다.
• Storage Gateway
  • 온프레미스에서 AWS로 파일을 전송합니다.
  • File Gateway, 캐시 및 저장을 위한 Volume Gateway 또 Tape Gateway가 있습니다.
• Snowball / Snowmobile
  • 대용량 데이터를 S3의 클라우드로 물리적으로 옮깁니다.
• Database
  • 데이터를 저장하는 방법입니다
  • 정한 워크로드에 사용되는데 일반적으로 인덱싱 및 쿼리와 함께 사용됩니다.

---

From
AWS Certified Solutions Architect Associate 시험합격!