[AWS] Storage Gateway vs. DataSync

Storage Gateway

• 백업 툴이라고 보면 됨, 백업 전용 Gateway를 열어주는 서비스
• 기존에 AWS를 사용하지 않는 고객사에서 제일 처음 사용하는 것이 백업 임
• 기존 데이터가 없어지는게 아니라 복제해서 AWS에 넣는것이기 때문에 도입단계에서 제일 먼저 해보는 경우가 많다.

• 하이브리드 환경에서, 온프로미스에서 클라우드 저장 서비스를 연동하기 위한 서비스
• Storage Gateway Appliance 사용
  • 가상머신으로 온프레미스 데이터센터에 설치하여 데이터를 수집 및 전송
  • 혹은 AWS로부터 하드웨어를 구매해 설치 가능

• 사실상 무제한의 클라우드 스토리지에 대한 온프레미스 액세스 권한을 제공하는 하이브리드 클라우드 스토리지 서비스
• 하이브리드 클라우드 스토리지의 주요 사용사례인 스토리지 관리 간소화 및 비용절감 효과를 얻을 수 있음
  --> 테이프 백업을 클라우드로 이동하고, 클라우드 백업 파일 공유를 통해 온프레미스 스토리지를 최소화하고, 온프레미스 애플리케이션의 AWS 데이터에 대한 짧은 지연시간의 액세스 권한을 제공하는 기능과 함께 다양한 마이그레이션, 아카이빙, 프로세싱, 재해복구 사례가 포함 됨

Storage Gateway의 3가지 유형

1. File Gateway ( NFS, SMB )

• 데이터를 S3에 저장 후 NFS / SMB 등으로 액세스
• S3는 일반적인 파일과는 다른 Object의 저장소이기 때문에 NFS 등을 사용하여 읽을 수 있게 해주는 것
• NFS: Network File System --> 리눅스
• SMB: Sever Message Block --> 윈도우즈

(1) NFS or SMB 마운트로 전송받은 데이터를 S3에 저장

• 소유권, 퍼미션, 파일 생성 시간 등은 S3의 메타데이터로 저장

(2) S3 저장 후에는 S3의 모든 기능 활용 가능

• 이벤트 트리거를 통한 다른 서비스(분석 서비스 등) 사용
• 버저닝
• 수명 주기 등

2. Volume Gateway (iSCSI)

(1) iSCSI 프로토콜을 통해 전달받은 데이터를 비동기적으로 EBS 스냅샷 형식으로 S3에 저장

• 스냅샷은 Incremental --> 이전 스냅샷에서 바뀐 부분만 저장함
• 백업에 특화

(2) 종류

• Stored Volumes
  • 모든 데이터를 로컬에 저장하고 비동기적으로 AWS에 백업
  • 1GB ~ 16TB
• Cached Volumes
  • 자주 사용하는 (캐싱)데이터만 로컬에 남겨두고 나머지는 모두 AWS에 백업
  • 1GB ~ 32TB

3. Tape Gateway (VTL)

• 이미 존재하는 Tape 기반 백업 어플리케이션을 위한 서비스
• iSCSI 디바이스로 백업
• NetBackup, Backup Exec 등등 기존의 백업 어플리케이션 사용 가능

---

DataSync

• 온프레미스와 AWS 스토리지 서비스 사이에서 데이터 이동을 자동화 및 가속화 하는 안전한 온라인 서비스
• NFS 공유, SMB 공유, Hadoop 분산 파일 시스템(HDFS), 자체 관리형 객체 스토리지, AWS Snowcone, Amazon Simple Storage Service(S3) 버킷, Amazon Elastic File System(EFS) 파일 시스템 및 Amazon FSx for Windows File Server 파일시스템 간에 데이터를 복사할 수 있음

• AWS 안에서 혹은 온프레미스에서 데이터를 이동하기 위한 서비스
  (1) AWS 스토리지 --> AWS 스토리지
  (2) 온프레미스 --> AWS 스토리지

• 다양한 온프레미스 스토리지 지원
  ex) S3, EFS, FSx,Snowcone
  ( Snowcone은 대상X-->Snowcone에서 S3,EFS 등에 이동할 수 O )

• Agent 사용

  • 가상머신(VM)으로 데이터의 소스를 읽어 AWS의 데이터 저장 서비스로 데이터를 전송
  • 동일한 AWS계정에서 데이터를 전송할 땐 사용하지 않음
    ( = 다른계정으로 옮길 때는 사용 )

• 지원 프로토콜

  • NFS, SMB, HDFS, S3 API

DataSync의 기능

==> 주로 데이터의 전송 및 이동을 목적으로 하는 서비스

1. 데이터 전송 전 필터 적용 가능

• 어떤 데이터를 제외하거나 포함할지 설정 가능
  ex) 확장자가 jpg만 전송하겠다, exe 파일은 제외하겠다

2. 스케쥴 설정 가능

• 일정 스케쥴 마다 데이터를 전송 및 동기화

3. 데이터 무결성 검사

• 데이터 소스에서 타겟까지 데이터가 전송되면서 네트워크라던지 어떤 이유로 인해서 데이터가 손실 되거나 변형 되는 것에 대해서 무결성 검사 지원

4. 동시에 여러 소스에서 하나의 대상으로 전송 가능

ex)여러 Agent에서 하나의 S3 버킷으로 전송

5. 전송 실패시 재전송

[ Storage Gateway ] vs [ DataSync ]

• DataSync와 Storage Gateway는 상호 배타적인 서비스가 아님
• 두개를 모두 활용한 아키텍쳐도 있다.
  ex) DataSync로 데이터를 온프레미스 센터에 저장을 한 후 온프레미스 센터에서 Storage Gateway를 활용하여 데이터를 액세스하는 패턴

연습문제

참고

• https://www.youtube.com/watch?v=hyVgsH2key8&t=1s