AWS Cloud Practitioner - Storage Gateway, 데이터 전송

1. Storage Gateway

• 온프레미스 데이터센터에 있는 데이터들을 AWS의 클라우드 스토리지에 저장할 수 있도록 AWS에서 제공하는 인터페이스
• 온프레미스에 자주 액세스하는 데이터들을 캐싱하여 성능 최적화 가능
• 하이브리드 클라우드라고도 불림
• 온프레미스의 자주 사용하지 않는 데이터는 Glacier같은 저비용 스토리지 클래스로 이동 가능
• 온프레미스에서 관리하던 백업데이터를 AWS로 이전하여 안정적인 백업 환경 구축

2. Storage Gateway 종류

2-1. S3 File Gateway 🗂️

• 온프레미스의 파일 데이터들을 Amazon S3 객체 스토리지에 저장하도록 지원하는 게이트웨이
• NFS, SMB 프로토콜 지원으로 온프레미스의 애플리케이션과 호환이 가능
• 저장된 파일은 S3 객체로 변환되어 클라우드에서 직접 사용 가능

2-2. FSx File Gateway

• 온프레미스 환경에서 AWS FSx for Windows File Server에 저장된 파일 데이터에 빠른 엑세스를 제공하는 게이트웨이
• SMB 프로토콜을 통해 Windows 기반 파일 액세스 지원

  NFS, SMB란?
  -> NFS, SMB는 네트워크를 통해 파일을 공유하는 대표적인 프로토콜

  • NFS(Network File System)
    • Unix/Linux계열에서 주로 사용하는 파일 공유 프로토콜
    • 마치 로컬에 있는 디스크처럼 네트워크의 저장소를 사용할 수 있게 해줌
  • SBM(Server Message Block)
    • Windows 환경에서 주로 사용하는 파일 공유 프로토콜
    • Windows의 '네트워크 드라이브'나 '공유 폴더' 기능이 이 SMB를 사용

2-3. Volume Gateway

• 온프레미스 환경에 있는 데이터들을, S3의 iSCSI 블록 기반 스토리지에 저장할 수 있도록 지원하는 게이트웨이
• EBS(Elastic Block Storage)의 스냅샷 기능을 사용하여 백업 및 복구에 용이
• 두 가지 운영 모드로 나뉘어짐
  • Cached Volumes: 자주 사용하는 데이터는 로컬에 캐싱, 나머지는 S3에 저장
  • Stored Volumes: 전체 데이터를 로컬에 저장하고 S3로 백업

2-4. Tape Gateway

• 온프레미스의 테이프 백업 데이터를 S3의 가상테이프 라이브러리에 전송할 수 있도록 지원하는 게이트웨이(iSCSI VTL, 가상 테이프 라이브러리 기반)
• 온프레미스의 테이프 백업 시스템과 동일한 방식으로 작동하여 효율적임
• S3 Glacier 스토리지 클래스를 활용하여 비용을 절감할 수 있음

  iSCSI(Internet Small Computer Systems Interface)란?
  -> TCP/IP 프로토콜을 사용하여 스토리지 장치를 연결하는 블록 스토리지 전송 프로토콜이며, 로컬 디스크 처럼 작동하는 원격 스토리지 장치를 제공하고 데이터를 블록단위로 처리

하드웨어 어플라이언스

• 인프라가 부실하거나 서버가 없는 온프레미스 데이터센터의 경우 Storage Gateway 인터페이스가 제공되는 하드웨어 어플라이언스를 별도로 구매하여 운용이 가능함

3. Amazon FSx

• FSx는 AWS에서 제공하는 완전 관리형 파일 스토리지 서비스
• 다양한 파일 시스템 옵션을 제공하여 사용자의 애플리케이션에 맞는 파일 시스템을 선택할 수 있음

3-1. FSx for Windows File Server

• Windows 파일 시스템을 AWS에서 관리할 수 있도록 제공하는 서비스
• 온프레미스 Windows 파일 서버와 동일하게 작동하며 SMB 프로토콜을 지원

3-2. FSx for Lustre

• AWS에서 제공하는 고성능 병렬 파일 시스템
• 병렬 처리를 통해 고속 테이터 처리나 대규모 데이터 처리가 필요한 워크로드에 사용

위의 두 가지 대표 서비스 외에도, NFS프로토콜을 지원하는 Linux기반 FSx for OpenZFS와 엔터프라이즈급 스토리지를 제공하는 FSx for NetAPP ONTAP이 있음

4. AWS Snow Famliy

• 온프레미스에서 클라우드로 물리적 디바이스를 이용해 대용량의 데이터 전송을 가능하게 하는 서비스
• 네트워크를 이용한 데이터 이전이 힘든 경우 사용
• AWS Snowmobile(트럭 or 컨테이너 기반), AWS snowball, AWS Snowcone(소형 기기) 순으로 디바이스에 담을 수 있는 용량이 큼

5. AWS DataSync

• 온프레미스와 AWS간 혹은 AWS 내부의 스토리지 간에 데이터를 효율적으로 전송할 수 있게 해주는 서비스
• 기존 네트워크 전송 속도 대비 훨씬 빠른 속도로 데이터를 전송할 수 있음
• Azure나 Google 클라우드 스토리지 등 다른 클라우드 서비스에도 전송이 가능
• DataSync 구성요소
  • Agent는 온프레미스 환경에서 AWS로 데이터를 전송할 때 사용하는 가상 머신 어플라이언스
  • Task(전송 작업)은 하나 이상의 Location을 기반으로 어떤 데이터를 언제, 어떻게 전송할지를 정의하는 설정 단위
  • Location(위치)은 데이터의 출발지와 도착지를 지정하는 요소

6. AWS Backup

• 여러 AWS 서비스의 데이터들을 중앙에서 관리하는 중앙 집중식 백업 관리 서비스
• AWS의 자동화된 정책을 적용하여 안정적으로 데이터를 보호
• 백업할 AWS 리소스 및 규칙(빈도, 보존기간 등)을 정의하는 백업 계획(Backup Plan)과 백업 데이터가 저장되는 백업 볼트(Backup Vault)로 구성
• 백업 볼트의 잠금 기능을 통해 데이터 보존 기간 동안 변경 및 삭제 방지가 가능

7. AWS Transfer Famliy

• SFTP, FTPS, FTP 프로토콜을 사용해 AWS 스토리지(S3, EFS)로 안전하게 파일을 전송할 수 있게 해주는 서비스
• 기존 FTP 서버를 AWS에서 관리형으로 제공하는 서비스

  FTP, FTPS, SFTP란?

  • FTP(File transfer Protocol)
    • 가장 기본적인 파일 전송 방식
    • 암호화 되지 않은 방식이라 보안에 취약
  • FTPS(FTP Secure)
    • FTP에 보안 계층을 추가하여 보안을 강화한 방식
  • SFTP(SSH File Transfer Protocol)
    • FTP와 다르게 SSH(Secure Shell, 데이터를 암호화하여 전송할 수 있게 지원하는 프로토콜)기반으로 동작하여 암호화된 파일 전송 가능
    • 가장 안전한 파일 전송 방식