Storage Gateway
• 온-프레미스 데이터 센터의 데이터와 AWS 클라우드의 스토리지를 연결하는 서비스
• 하이브리드 클라우드 스토리지로도 부름 (온-프레미스 인프라 + 클라우드 인프라)
• 온-프레미스의 데이터를 AWS클라우드로 실시간으로 전송 및 저장 가능 (짧은 지연시간 액세스)
• 온-프레미스에 로컬캐시 기능을 통해 자주 사용하는 데이터 보관 가능
• 파일 백업, 클라우드 파일저장소, 재해복구 저장소의 용도로 사용
• 온-프레미스 스토리지 공간과 관련 비용 절감 효과
• 4가지 유형의 게이트웨이: S3 파일게이트웨이, FSx 파일게이트웨이, 볼륨게이트웨이, 테이프게이트웨이
S3 파일 게이트웨이
• 온-프레미스와 S3간에 파일 단위로 전송하는 게이트웨이
• NFS, SMB 프토로콜을 이용하여 S3에서 객체를 저장하고 검색 가능
• Active Directory(AD) 서비스와 통합하여 인증된 사용자만 액세스 하도록 구성 가능
• 온프레미스의 파일 저장공간이 부족하여 파일을 클라우드에 저장해서 액세스하는 경우 또는 파일을 백업
용도로 클라우드에 저장하는데 사용
FSx 파일 게이트웨이
• 온프레미스와 Amazon FSx for Windows File Server간에 파일 단위로 전송하는 게이트웨이
• SMB 프토로콜을 이용하여 FSx for Windows File Server 내의 파일을 저장하고 검색 가능
• Active Directory(AD) 서비스와 통합하여 인증된 사용자만 액세스 하도록 구성 가능
• 온-프레미스의 파일 저장공간이 부족하여 파일을 클라우드에 저장해서 액세스하는 경우 또는 파일을 백업용도로 클라우드에 저장하는데 사용
볼륨 게이트 웨이
• iSCSI 연결을 사용해 온-프레미스 애플리케이션에 블록 스토리지를 제공
• 온-프레미스의 서버에서 블록 스토리지 볼륨을 iSCSI 디바이스로 연결 가능
• 볼륨 데이터는 S3에 저장되며 볼륨을 EBS 스냅샷으로 저장 및 AWS Backup 서비스로 백업 가능
• 두가지 볼륨 모드
-캐싱볼륨: 기본데이터는 S3에 저장하고 자주 액세스하는 일부 데이터만 로컬 캐싱에 저장, 캐시를 통해 액세스
시간 감소
-저장볼륨: 모든 데이터를 로컬에 저장 후 AWS에 비동기식 백업, 로컬에 백업세트가 저장된 효과
테이프 게이트웨이 (???)
• 온-프레미스의 테이프 백업 애플리케이션과 S3간의 전송을 위한 게이트웨이
• 기존의 온-프레미스 테이프 백업 장치 구성을 변경하지 않아도 AWS S3로 백업 가능
• S3 Glacier(S3 Glacir Flexible Retrival)또는 S3 Glacier Deep Archive로 백업을 하여 저장 비용 최소화 가능
하드웨어 어플라이언스
• 스토리지 게이트 웨이 운영을 위해서는 온프레미스 서버에 Storage Gateway 애플리케이션을 설치해
야 함
• 온-프레미스에 서버등의 저장장치가 없거나 인프라가 부족한 작은 데이터 센터의 경우 Storage
Gateway 소프트웨어가 미리 설치된 하드웨어 어플라이언스를 구매하여 운용가능
플랫폼별로 이미지를 다운받아서 서버 구성 후 연결
FSx 스토리지 서비스
FSx for Lustre
• 리눅스 환경을 위한 고성능 병렬 스토리지 시스템
• 병렬 스토리지 시스템 = 분산파일 시스템 (DFS, Distributed File System)
• 머신 러닝, 빅데이터 등의 고성능 컴퓨팅에 사용 (HPC, High Performance Computing)
• Amazon S3 버킷과 통합 구성하여 같이 사용 가능
• 온-프레미스 서버에서 액세스 가능
• 파일 시스템 배포 옵션
• 스크래치 파일 시스템(Scratch file systems)
- 임시 스토리지 및 단기 데이터 처리를 위한 시스템
- 데이터는 복제되지 않으며 파일 서버에 장애 발생시에도 교체 되지 않음
• 지속적 파일 시스템(Persistent file systems)
- 장기 스토리지 및 워크로드를 위한 시스템
- 데이터가 여러 가용영역에 자동으로 복제되어 가용성이 높음
- 파일 서버 장애 발생시 자동으로 교체됨
FSx for Windows File Server
• Elastic File System(EFS)는 리눅스 환경의 파일 공유 서비스
• FSx for Windows File Server는 윈도우 서버에 구축되는 파일 공유 서비스
• SMB 프로토콜을 이용하기에 윈도우, 리눅스 OS에서 액세스 가능
• 사용자 액세스 제어를 위해 Active Directory(AD) 서비스와 통합가능
• 온-프레미스 서버에서 액세스 가능
SnowFamily
• 데이터를 네트워크가 아닌 물리적인 장치에 저장하여 전송할 수 있는 디바이스
• 온프레미스에 있는 데이터를 AWS로 마이그레이션 해야 할 때 사용
• 제한된 시간안에 마이그레이션, 1회성 마이그레이션, 가장 적은 시간이 소요 되는 방법, 회사네트워크 사용제한, 최저비용으로 선택가능한 옵션 등의 제약조건이 있는 경우에 선택
• 데이터 전송절차
스노우볼 디바이스 요청 -> 주문자에게 디바이스 배송 -> 서버에 연결하여 데이터 복사 -> AWS 데이터센터로 디바이스 배송 -> AWS 데이터센터에서 S3 버킷으로 데이터 복사 -> 스노우볼 데이터제거
스노우볼 디바이스
DataSync
• 온-프레미스와 AWS간 또는 AWS 스토리지 서비스간 데이터 전송 및 복제를 자동화 하는 서비스(데이터 마이그레이션)
• SMB나 NFS프로토콜을 사용하는 온프레미스 서버의 파일을 AWS의 S3, EFS, FSx for Windows로 전송
• 온-프레미스 데이터를 S3, EFS, FSx for Windows File Server로 마이그레이션하거나 S3 Glacier로 아카이빙을 위해 사용
• AWS 서비스 내의 스토리지 내의 데이터 이동을 위해 사용
• 전송 중 및 전송 종료 시 데이터 무결성 확인 및 암호화 가능
• 전송은 시간별, 일별, 주별 등 예약된 일정에 따라 자동으로 이루어짐
비교하기
AWS DataSync vs. AWS Snowball Edge
• AWS DataSync : 온라인으로 데이터 전송하는데 사용
• Snowball Edge : 오프라인 데이터 전송, 전송대역폭이 제한, 연결이 안정적이지 못한 경우 사용
AWS DataSync vs. AWS Storage Gateway
• AWS DataSync : 초기 데이터를 Amazon S3로 마이그레이션 (주로 일회성)
• AWS Storage Gateway : 초기 마이그레이션 이후 AWS Storage Gateway의 파일 게이트웨이 구성을 사용하여 마이그레이션된 데이터 및 온-프레미스 파일 기반 애플리케이션의 지속적인 액세스를 유지
AWS DataSync vs. Amazon S3 Transfer Acceleration
• S3 Transfer Acceleration : S3로의 대용량 파일 전송을 위해 더 높은 처리량을 사용할 경우
AWS DataSync vs. AWS Transfer Family
• AWS DataSync : NFS 서버, SMB 파일 공유, 자체 관리형 객체 스토리지, AWS Snowcone, Amazon S3, Amazon EFS 및 Amazon FSx for Windows File Server 간에 데이터 전송을 가속화 및 자동화하려는 경우 데이터 마이그레이션 자동화...
• AWS Transfer Family : SFTP, FTPS 및 FTP 프로토콜을 사용하여 AWS S3 및 EFS와 파일 전송을 하려는 경우 사용
AWS Backup
• 중앙 집중식 백업 관리 서비스
• 백업대상
✓ Amazon FSx
✓ Amazon EFS
✓ Amazon DynamoDB
✓ Amazon EC2
✓ Amazon EBS
✓ Amazon RDS
✓ Amazon Aurora
✓ AWS Storage Gateway(Volume Gateway)
✓ VMware 가상머신
• 백업 일정 관리, 보존관리, 백업 모니터링, 수명주기관리, 액세스 정책, 암호화 등의 기능을 사용할 수 있음
• 교차리전 백업, 교차계정 백업 지원
• 리소스 태그 기반으로 백업 정책 구성 가능
스토리지 서비스 비교!
• S3: 객체 스토리지, 다양한 용도에 사용 하고 정적 웹사이트 호스팅에도 사용
• S3 Glacier, S3 Glacier Deep Archive: 데이터 아카이브 용도
• EFS: NFS 프로토콜지원, 리눅스를 네트워크 파일 시스템, 수십~수백대의 EC2인스턴스 연결가능한 스토리지
• FSx for Windows: SMB 프로토콜 지원, 윈도우 네트워크 파일시스템, 윈도우 파일서버 용도로 주로 사용
• FSx for Lustre: 고성능 병렬처리, 고성능 컴퓨팅(HPC)를 위한 리눅스 파일 시스템
• EBS: EC2인스턴스에 연결 가능한 블록 스토리지, 동일 가용영역 내에서만 연결
• Instance Store: 고성능 IOPS를 제공하는 특정 EC2에서 제공하는 블록 스토리지, 임시 저장소 용도
• Storage Gateway: 온-프레미스와 AWS 스토리지 연결 서비스 (파일/볼륨/테이프 게이트웨이)
• Snow Family/Snowball: 온-프레미스의 1회성 대용량 데이터 오프라인 AWS 마이그레이션을 위한 디바이스
• DataSync : 온-프레미스 데이터를 S3, EFS, FSx for Windows File Server로 온라인 마이그레이션 하는 서비스
• AWS Backup : 중앙 집중식 백업 관리 서비스
