SECTION 16. AWS Storage Extras

Snow Family

Amazon FSx

• 고성능 파일 시스템을 aws에서 라운치하도록 하는 서비스

FSx for Windows (file server)

• 리눅스 EC2 인스턴스에 마운트할 수 있다.
• Microsoft의 DFS(Distributed File System) Namespaces(다중 FS를 통한 그룹 파일) 를 지원한다.
• 예를 들어, on-premises에 기존 윈도우 파일 서버가 있는 경우, 배포파일 시스템 DFS 기능을 이용해 파일 시스템을 그룹화해 FSx를 조인할 수 있다.

FSx for Lustre

• HPC(High Performance Computing)
• S3과 통합됨
  - FSx에서 s3을 파일 시스템으로 읽을 수 있고, FSx에서 s3으로 산출 결과를 쓸 수 있다.
  

Deployment Options

• Scratch File System

  • 임시 저장소
  • 데이터 복제되지 않아서 파일 서버 실패하면 지속되지 않음.
  • 짧은 기간 프로세싱이나 비용 최적화에 사용

• Persistent File System

  • 긴 기간 저장소
  • 데이터는 같은 AZ에서 복제된다.
  • 몇 분 안에 실패한 파일을 복구한다.
  • 긴 기간 프로세싱이나 민감한 데이터에 사용

Storage Gateway

• 스토리지 게이트웨이는 온프레미스 데이터와 S3의 클라우드를 연결한다.
• 스토리지 게이트웨이는 주로 재해 복구, 백업 및 복원, 계층화된 스토리지에 사용된다.
• 스토리지 게이트는 세 가지 유형이 있다.

File Gateway
Volume Gateway
Tape Gateway

• 스토리지 게이트웨이는 온프레미스의 데이터를 Amazon EBS 또는 Amazon S3 나 Glacier 로 가져온다.

AWS Storage Cloud Native Options

• AWS 스토리지 클라우드 네이티브 옵션을 보면 블록 스토리지인 EBS 와 EC2 인스턴스 스토어가 있고, 파일 시스템인 Amazon EFS, Amazon FSx, 객체 스토리지인 Amazon S3, Amazon Glacier 가 있다.

Amazon S3 File Gateway

• 가장 최근에 사용된 데이터가 파일 게이트웨이 안에 캐시된다.
• 라이프사이클 정책을 사용하는 s3 Glacier 로 변환

FSx File Gateway

• NFS 와 SMB 프로토콜을 사용하여 S3 버킷에 액세스 가능하게 한다.
• S3 Standard, S3 IA, S3 One Zone IA 등의 스토리지 유형을 지원한다.
• 각 게이트웨이의 IAM 역할을 사용하는 버킷 액세스가 보호되고 가장 최근에 사용된 데이터는 파일 게이트웨이에 캐싱된다.

Volume Gateway

• S3 의 iSCSI 프로토콜을 사용하는 블록 스토리지이다.
• EBS 의 스냅샷으로 백업되는 볼륨을 갖게 되고 필요한 경우 온프레미스 볼륨을 복구하는 데 도움을 준다.
• 볼륨 게이트웨이는 두 가지 종류가 있다.
  - Cached volumes : 최근 액세스 된 데이터의 액세스 지연 시간을 줄여주는 캐시 된 볼륨
  - Stored volumes : 전체 데이터셋이 온프레미스에서 제공되는 저장된 볼륨

• 볼륨 게이트웨이는 S3 가 지원하는 Amazon EBS 스냅샷을 생성한다.

Tape Gateway

• 물리적인 테이프를 사용해서 백업하는 테이프 백업 시스템이다.
• 테이프 게이트웨이를 사용하더라도 모든 과정은 동일하고 단지 테이프가 클라우드에 백업되는 것이다.
• 가상 테이프 라이브러리인 VTL 은 S3 와 Glacier 을 사용할 수 있고, 기존 데이터를 백업할 때 테이프 기반 프로세스 및 iSCSI 인터페이스를 사용한다.

정리

• 온프레미스와 데이터 클라우드 사이에 연결다리가 필요하면 스토리지 게이트웨이를 사용해야 한다.
• 네트워크 파일 시스템과 함께 사용자 인증이 필요한 Active Directory 를 사용한다? => File Gateway, 데이터는 S3 로 백업된다.
• 볼륨, 블록 스토리지, iSCSI 를 사용한다? => 볼륨 게이트웨이, EBS 스냅샷이 S3 에 생성되고 백업된다.
• VTL 테이프 방식, iSCSI 로 백업을 한다? => 테이프 게이트웨이, S3 나 Glacier 로 백업된다.
• 온프레미스 가상화 시스템이 없는 경우? => 하드웨어 어플라이언스를 사용한다.
  출처: https://ssunw.tistory.com/entry/AWS-스토리지-추가-기능-Storage-Gateway-개요-1

DataSync

• 온프레미스와 aws형 스토리지 데이터 이동 및 자동화를 지원하는 서비스
• 파일 권한과 메타 데이터가 보존된다.

NFS/ SMB to AWS(S3, EFS, FSx .. )

• AWS DataSync Agent를 온 프레미스에 설치하고 NFS 또는 SMB 서버와 연결한다.
• 리전에 있는 AWS DataSync와 TLS 연결하면 스토리지 리소스 어디든 보낼 수 있다.
• AWS Snowcone는 데이터를 가져와서 DataSync 에이전트를 실행하고 aws 리전으로 전송한다.

  TLS: 인터넷 커뮤니케이션을 위한 개인 정보와 데이터 무결성을 제공하는 보안 프로토콜

Transfer between AWS storage services