스토리지 Gateway

스토리지 Gateway

하이브리드 클라우드

• AWS는 하이브리드 클라우드를 권장하고 있다.
  하이브리드 클라우드란?
  -> 일부 인프라는 AWS 클라우드에 있고, 나머지는 그대로 온프레미스에 두는 방식
  왜?
  -> 클라우드 마이그레이션이 오래 걸리는 경우
  -> 보안 준수 요건이 있는 경우
  -> 규정 준수 요건이 있는 경우
  -> 전략에 따라 엘라스틱 워크로드에만 클라우드 활용하기
• S3는 독점 스토리지 기술로 NFS/EFS(규정 준수 파일 시스템)와 다르다.
  이 S3 데이터를 온프레미스에 두려면 어떻게 해야 할까?
  -> AWS Storage Gateway를 통해 S3와 온프레미스 인프라를 이어준다.

AWS 스토리지 클라우드 기본 옵션

블록 스토리지 vs 파일 시스템 vs 객체 수준 스토리지

AWS 스토리지 Gateway

• 온프레미스 데이터와 클라우드 데이터 간을 이어주는 역할
  스토리지 Gateway를 이용해 온프레미스 데이터를 클라우드로 이동
• 활용
  • 재해 복구 목적으로 온프레미스 데이터를 클라우드에 백업
  • 백업 & 복구 목적
    클라우드 마이그레이션
  • 온프레미스에서 클라우드 간 스토리지 확장을 사용
    클라우드에는 콜드 데이터를 두고 온프레미스에는 더 자주 쓰는 웜 데이터를 두는 식
  • 온프레미스 캐시로 사용
    데이터중 대부분을 AWS에 저장하고 파일 액세스 지연 시간을 줄일 수 있다.
• 스토리지 Gateway 유형
  • S3 파일 게이트웨이
  • FSx 파일 게이트웨이
  • 볼륨 게이트웨이
  • 테이프 게이트웨이

S3 File Gateway

S3 버킷에는 원하는 스토리지 클래스를 임의로 사용할 수 있다.
이 버킷을 온프레미스 상의 애플리케이션 서버에 연결하고 싶다.
이때 표준 네트워크 파일 시스템을 활용하고자 한다.
(ㄱ) 이를 위해 S3 파일 게이트웨이를 생성해 애플리케이션 서버가 NFS나 SMB 프로토콜을 사용하도록 한다.
(ㄴ) 이 프로토콜을 통해 S3 파일 게이트웨이는 해당 요청을 HTTPS 요청으로 변환시켜 S3 버킷으로 보낸다.
(ㄷ) 그러면 애플리케이션 서버가 보기에는 일반적인 파일 공유 액세스로 보이나 실제로는 S3 버킷을 사용하는 셈인 것.
-> 이렇게 S3 객체를 온프레미스 애플리케이션 서버를 통해 가져올 수 있다.
(ㄹ) 해당 객체를 아카이브하고자 하는 경우 S3 버킷에 수명 주기 정책을 생성해 S3 Glacier로 객체를 옮겨서 아카이브되도록 한다.

• S3 파일 게이트웨이로 구성한 모든 버킷은 NFS 및 SMB 프로토콜을 이용해 액세스할 수 있다.
• 사용된 데이터는 신속한 액세스를 위해 파일 게이트웨이에 캐시로 저장된다.
  따라서 전체 S3 버킷이 아닌 최근에 사용한 파일만 파일 게이트웨이에 잇다.
• S3 버킷에서는 여러 스토리지 클래스를 지원한다(Glacier X)
  수명 주기 정책을 사용하면 Glacier 로도 옮길 수 있다.
• 버킷에 액세스하려면 각 파일 게이트웨이마다 IAM 역할을 생성해야 한다.
• 윈도우 기본 파일 시스템인 SMB프로토콜을 사용하는 경우 사용자 인증을 위해 Active Directory와 통합해야 한다.
  -> 사용자가 S3 파일 게이트웨이에 액세스하려 할때 인증 절차를 거치게 왼다.

FSx File Gateway

FSx for Windows File Server에 기본 액세스를 제공한다.
FSx for Windows File Server가 FSx 파일 시스템에 배포되어 있다.
그리고 회사 데이터 센터에 있는 SMB 클라이언트에 액세스하려 한다.
(ㄱ) FSx for Windows File Server를 사용하고 있는 경우 따로 할 작업은 없다.
이미 온프레미스 시스템에서 액세스 가능하기 때문이다.
그럼 왜 게이트웨이를 사용할까?
(ㄴ) 게이트웨이를 생성하면 자주 액세스하는 데이터의 로컬 캐시를 확보할 수 있다.
중요한 파일의 로컬 캐시가 회사 데이터 센터에 쌓이고 액세스 시 지연 시간을 단축한다.
-> 이것이 FSx for Windows File Server와 FSx 파일 게이트웨이를 함께 사용하는 이유

• 파일 게이트웨이에서 윈도우 네이티브인 SMB,NTFS,Active Directory 호환 가능
• 따라서 그룹 파일 공유나 온프레미스를 연결할 홈 디렉터리로 사용할 수 있다.

Volume Gateway

• 블록 스토리지로 S3가 백업하는 iSCSI 프로토콜을 사용
• 볼륨이 EBS 스냅샷으로 저장되어 필요에 따라 온프레미스 볼륨을 복구할 수 있다.
• 유형
  • 캐시 볼륨
    최근 데이터 액세스 시 지연 시간이 낮다.
  • 저장 볼륨
    전체 데이터 세트가 온프레미스에 있고 주기적으로 S3에 백업
• 온프레미스 서버에 볼륨을 백업하는데 의의
• 블록 스토리지를 사용하고 EBS 스냅샷으로 지정 시간 백업이 되고 그것이 볼륨이 되는 것.

Tape Gateway

• 물리적으로 테이프를 사용하는 백업 시스템이 있는 회사가 백업에 테이프 대신 클라우드로 백업할 수 있게 해준다.
• 가상 테이프 라이브러리(VTL)는 S3와 Glacier를 이용한다.
• 테이프 기반 프로세스의 기존 백업 데이터를 iSCSI 인텋페이스를 사용해 백업한다.
• 업계를 선도하는 백업 소프트웨어 벤더가 사용하는 서비스
• 즉, S3에 데이터를 백업할 수 있고 기존 테이프 기반 프로세스를 사용해 Glacier에 보관할 수 있다.
  VTL과 동일한 프로토콜을 사용하기 때문?

Hardware appliance

• 게이트웨이는 회사 데이터 센서에 설치되어 있어야 한다.
  회사 데이터 센터 내에서 운영해야함
• 그러나 종종 게이트웨이를 실행할 가상 서버가 없는경우
  AWS 하드웨어를 사용하면 된다. -> 하드웨어 어플라이언스라 한다.
• 온프레미스에 서버가 없는 경우 하드웨어 어플라이언스를 사용
  amazon.com에서 주문할 수 있다.
  (ㄱ) 미니 서버가 될 하드웨어 어플라이언스를 사용자의 인프라에 설치
  (ㄴ) 파일 게이트웨이, 볼륨 게이트웨이 또는 테이프 게이트웨이로 설정
  (ㄷ) 그 다음 물리적으로 설치
  충분한 CPU,메모리,네트워크,SSD 캐시 리소스가 필요
• 소규모 데이터 센터의 일일 NFS 백업처럼 가상화가 없는 경우 유용

스토리지 게이트웨이 요약

• 온프레미스에서 스토리지 게이트웨이 VM을 배포하거나 하드웨어 어플라이언스에서 배포할 수 있다.
  스토리지 게이트웨이 서비스와 AWS 클라우드로 나뉜다.
• 파일 게이트웨이(로컬 캐시 필요)
  • 사용자 그룹 파일 공유 시에 NFS나 SMB 프로토콜을 이용해 엑세스
  • 가장 최근에 사용한 파일에 대해 S3 온프레미스에서 로컬 캐시를 가진다.
  • 옵션
    • 직접 S3 파일 게이트웨이에 연결해서 데이터가 S3에 백업되도록 하는 방법
      이 경우 Glacier와 Glacier Deep Archive를 제외한 많은 스토리지 티어를 포함한다.
      하지만 수명 주기 정책을 생성해 이를 S3 Glacier를 포함한 모든 S3 스토리지 클래스에 전송할 수 있다.
• FSx 파일 게이트웨이
  • FSx for Windows File Server에 데이터를 전송하는데 데이터는 주기적으로 S3에 백업된다.
• 볼륨 게이트웨이
  • iSCSI 프로토콜을 통해 애플리케이션 서버를 갖고 볼륨을 마운트
    이렇게 하면 볼륨 게이트웨이는 스토리지 게이트웨이를 통해 S3에 연결되고 해당 위치에 데이터 볼륨이 저장된다.
    그리고 S3에서 해당 데이터가 AWS EBS 볼륨으로 변환되어 AWS에 저장된다.
• 테이프 게이트웨이
  • iSCSI VTL 프로토콜을 통해 백업 애플리케이션에 연결
    S3를 테이프 라이브러리로 사용한다.
    그리고 해당 테이프를 Glacier와 Glacier Deep Archive티어로 이동시켜 테이프 아카이브를 생성