AWS Storage 추가 기능

AWS Snow Family

• 보안성이 뛰어난 휴대용 장치의 모음
• 엣지에서 데이터를 수집하고 처리하기 위해 사용
  • snowcone, snowball edge
• AWS 안팎으로 데이터를 마이그래이션 할 때 사용
  • snowcone, snowball edge, snowmobile

Data Migrations with AWS Snow Family

• 네트워크를 통해 많은 데이터를 전송하려면 오랜 시간이 걸리며 전송 가능한 데이터의 양이 적다는 것과 제한된 연결 및 제한된 대역폭 문제가 있다
• Snow family는 오프라인에서 데이터 마이그레이션을 실행하는 장치이다
  • AWS가 우편으로 물리적 장치를 보내주면 장치에 데이터를 끌어오고 다시 AWS로 전송하는 것
  • 데이터 전송 시 네트워크를 사용할 경우 일주일이 넘는 시간이 걸린다면 사용하기를 권장

Snowball Edge (for data transfers)

• TB 또는 PB 크기의 데이터를 AWS 안팎으로 전송 가능
• 네트워크를 대신해서 데이터를 옮긴다
• 데이터 전송 건마다 비용이 청구
• Snowball Edge 인터페이스는 블록 스토리지를 제공하거나 Amazon S3 호환 객체 스토리지를 제공
• Snowball Edge Storage Optimized
  • 블록 볼륨으로 사용할 수 있도록 80TB의 하드웨어 디스크 용량을 제공하거나 S3 호환 객체 스토리지 제공
  • 더 큰 스토리지가 필요할 때 사용
• snowball Edge Compute Optimized
  • 42TB의 HDD 용량을 제공
• Snowball Edge를 데이터 전송에 쓰는 경우
  • 데이터 센터 폐쇄를 위한 대량의 데이터 클라우드 마이그레이션
  • AWS에 데이터를 백업함으로써 재해 복구

Snowcone

• 어디서나 컴퓨팅 가능한 작은 휴대용 장치
• 용량이 작은 경우에 사용하며 엣지 컴퓨팅, 스토리지 및 데이터 전송에 사용
• 8TB 저장 가능
• 드론 위에 설치할 수 있다
• 오프라인으로도 AWS에 재전송 가능

Snowmobile

• 1EB = 1.000PB
• 용량은 100PB
• GPS 추적 및 비디오 감시

What is Edge Computing?

• 데이터가 엣지 로케이션에서 생성될 때 실시간으로 처리하는 방식
• 엣지 로케이션 = 인터넷이 없는 곳이나 클라우드에서 멀리 있는 곳
• Snowball Edge, Snowcone을 엣지 로케이션에 장착하면 엣지 컴퓨팅을 시작할 수 있다
• 데이터 전처리, 클라우드로 보내지 않고 엣지에서 머신 러닝을 하는 경우
• 최종적으로는 데이터를 AWS로 재전송해야 하는 경우

Snow Family - Edge Computing

• Snowcone (smaller)
  • 2 CPUs, 4GB of memory, 유무선 액세스
  • USB-C
• Snowball Edge - Compute Optimized
  • 52 vCPUs, 208 GiB of RAM
  • 선택적 GPU (영상 처리, 머신 러닝)
  • 42 TB 가능한 스토리지
• Snowball Edge - Storage Optimized
  • 40 vCPUs, 80 GB of RAM
  • 객체 스토리지 클러스터링을 할 수 있다
  • 모든 장치들은 내부 EC2 인스턴스나 람다 함수를 실행 할 수 있다
  • AWS IoT Greengrass라는 서비스를 통해서 가능하다

AWS OpsHub

• 컴퓨터나 노트북에 설치하는 소프트웨어라 클라우드를 사용하지 않고 컴퓨터에 다운로드 해야함
• 연결이 되면 그래픽 인터페이스를 통해 Snow 장치에 연결해서 구성 및 사용 가능
• 단일 장치와 클러스터 장치를 점금 해제하고 구성할 수 있으며 파일 전송이 가능해지고 Snow 장치에서 실행되는 EC2 인스턴스를 시작 및 관리할 수 있다

Snowball into Glacier 시나리오

• Snowball을 통해 데이터를 Amazon S3로 가져오면 S3의 수명 주기 정책을 통해 해당 데이터가 Amazon Glacier로 전환

Amazon FSx

• 3rd party 고성능 파일 시스템을 실행 시키는 완전 관리형 서비스
• FSx for …
  • Lustre
  • NetApp ONTAP
  • Windows File Server
  • OpenZFS

Amazon FSx for Windows (File Server)

• 완전 관리형 windwos 파일 서버 공유 드라이브
• SMB 프로토콜과 Windows NTFS를 지원
• Linux EC2 인스턴스에도 마운트 할 수 있다
• Microsoft 분산 파일 시스템인 DFS 기능을 이용해서 파일 시스템을 그룹화 할 수 있다
• private 연결로 온프레미스 인프라에서 액세스 할 수있다

Amazon FSx for Lustre

• Lustre 는 분산 파일 시스템으로 대형 연산에 사용되었다
• Linux와 cluster을 합친 말
• 동영상 처리나 금융 모델링 전자 설계 자동화 등의 애플리케이션에 사용
• 확장성이 높다
• SSD, GDD
• FSx로 S3를 파일 시스템처럼 읽어들일 수 있다
• FSx의 연산 출력값을 다시 S3에 쓸 수 있다

FSx File Sytstem Deployment Options

• Scratch File System
  • 임시 스토리지로 데이터가 복제되지 않는다
  • 최적화를 통해 성능을 높일 수 있다
  • 단기 처리 데이터에 사용
  • 데이터 복제가 없어 비용을 최적화할 수 있다
• Persistent File System
  • 장기 스토리지
  • 동일한 가용 영역에 데이터가 복제
  • 데이터의 장기 처리 및 스토리지

Amazon FSx for NetApp ONTAP

• NFS, SMB, iSCSI 프로토콜과 호환
• 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있다
• 호환 가능한 폭이 넓다
• 스토리지는 자동으로 확장 및 축소
• 복제와 스냅샷 기능도 지원
• 데이터 압축이나 데이터 중복제거도 가능
• 지정 시간 복제 기능
  • 새 워크로드 등을 테스트할 때 유용

Amazon FSx for OpenZFS

• NFS 프로토콜과 호환이 가능
• 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
• 스냅샷, 압축을 지원하고 비용이 적다
• 데이터 중복제거 기능은 없다

AWS Storage Gateway

• 클라우드 데이터와 온프레미스 데이터의 가교의 역할
• 클라우드에는 콜드 데이터 & 온프레미스엔 웜 데이터
• AWS에 저장하고 파일 액세스 지연 시간을 줄이기 위해 Gateway를 온프레미스 캐시로 사용하기도 한다
• S3 File Gateway
• FSx File Gateway
• Volume Gateway
• Tape Gateway

Amazon S3 File Gateway

• 로컬 캐시를 필요로함
• S3 버킷에는 원하는 스토리지 클래스를 임의로 사용할 수 있지만 Glacier은 사용할 수 없다
• 애플리케이션 서버가 NFS나 SMB 프로토콜을 사용하도록 한다
• 해당 프로토콜을 통해 S3 파일 게이트웨이는 해당 요청을 HTTPS 요청으로 변환시켜 Amazon S3 버킷으로 보낸다
• S3 객체를 온프레미스 애플리케이션 서버를 통해 가져올 수 있다
• 해당 객체를 아카이브하고자 할 경우 S3 버킷에 수명 주기 정책을 생성하는데, 수명 주기 정책을 생성하게 되면 S3 Glacier로도 옮길 수 있다

Amazon FSx File Gateway

• 로컬 캐시를 필요로함
• Amazon FSx for Windows File Server에 네이티브 액세스를 제공한다
• 자주 액세스하는 데이터의 로컬 캐시를 확보할 수 있다
• 중요한 파일의 로컬 캐시가 회사 데이터 센터에 쌓이고 액세스 시 지연 시간을 단축시킨다

Volume Gateway

• 블록 스토리지로 Amazon S3가 백업하는 iSCSI 프로토콜을 사용한다
• 애플리케이션 서버를 가지고 있으며 볼륨을 마운트한다
• 볼륨이 EBS 스냅샷으로 저장되어 필요에 따라 온프레미스 볼륨을 복구할 수있다
• 두 가지 유형
  • 캐시 볼륨
    • 최근 데이터 액세스 시 지연 시간이 낮다
  • 저장 볼륨
    • 전체 데이터 세트가 온프레미스에 있으며 주기적으로 S3 백업이 이루어진다

Tape Gateway

• S3를 테이프 라이브러리로 사용
• 물리적으로 테이브를 사용하는 백업 시스템이 있는 회사가 백업에 테이프 대신에 클라우드를 활용해 데이터를 백업할 수 있다
• VTL (가상 테이프 라이브러리)는 S3와 Glacier를 이용
• 테이프 기반 프로세스의 기존 백업 데이터를 iSCSI 인터페이스를 사용하여 백업

AWS Transfer Family

• 확장성이 좋고 가용성이 높다
• 세 가지 프로토콜을 지원
  • FTP의 AWS Transfer
  • FTPS의 AWS Transfer
  • SFTP의 AWS Transfer
• 기존의 인증 시스템과 통합할 수도 있다
  • Microsoft Active Directory
  • LDAP
  • Okta
  • Amazon Cognito
  • 사용자 지정 소스

AWS DataSync

• 데이터를 동기화하며 이를 통해 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있다
• 서버를 NFS, SMB, HDFS 또는 다른 프로토콜에 연결해야 하고 옮길 위치인 온프레미스나 연결할 다른 클라우드에 에이전트가 있어야 한다
• AWS 서비스에서 다른 AWS 서비스로 데이터를 옮길 수 도 있다 (이 경우 에이전트는 필요하지 않음)
• 지연이 발생하지만 일정에 맞춰서 데이터가 동기화된다
• 파일 권한과 메타데이터 저장 기능이 있다
• 파일을 한 곳에서 다른 곳으로 옮길 때 이를 이용하여 파일의 메타데이터를 보존할 수 있다
• DataSync를 이용하고자 하지만 네트워크 용량이 따라 주지 못하는 경우 AWS snowcone장치를 사용할 수 있다
  • Snowcone에는 DataSync 에이전트가 설치되어 있다