[AWS SAA] AWS Advanced Storage - Amazon FSx

junghan·2023년 3월 20일
0

AWS SAA

목록 보기
31/51
post-thumbnail

Amazon FSx

Amazon FSx

  • AWS의 관리형 서비스로, 클라우드 내 다기능 고성능 파일 시스템을 쉽고 비용 효과적으로 시작, 실행 및 확장할 수 있도록 합니다.
  • 완전 관리형 서비스이며 S3나 EFS 대신 다른 서비스를 사용하고 싶을 경우 사용합니다.
    • EFS: Linux 시스템을 위한 공유 POSIX 시스템
    • AWS에 RDS말고 MySQL나 Postgres를 실행하는 것과 같은 개념
  • FSx를 타사 고성능 파일 시스템을 실행하는 방법으로 생각해야 합니다.
    • Lustre용 FSx
    • Windows File Server용 FSx
    • NetApp ONTAP용 FSx
    • OpenZFS용 FSx

FSx 종류

Amazon FSx for Windows (File Server)

  • 완전 관리형 Windows 파일 서버 공유 드라이브
  • Window를 사용하기 때문에 Windows NTFS와 SMB 프로토콜을 지원합니다.
    • NTFS: Microsoft Windows의 파일 시스템
    • SMB: 마이크로소프트사와 인텔이 윈도우 시스템이 다른 시스템의 디스크나 프린터와 같은 자원을 공유할 있도록하기 위해 개발된 프로토콜
  • Microsoft Active Directory 통합을 지원하기 때문에, 사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스 제어가능
    • ACL: 액세스 제어 목록은 개체나 개체 속성에 적용되어 있는 허가 목록
  • Windows와 Linux 컴퓨터에서 액세스할 수 있는 완전 관리형 Windows 파일 시스템 공유 드라이브를 제공합니다.
  • Linux EC2 인스턴스에 탑재할 수도 있어서 Windows와 Linux 모두에서 작동합니다.
  • 기존에 온프레스 등에 Windows 파일 서버가 있는 경우, Microsoft 분산 파일 시스템인 DFS기능을 이용해서 파일을 그룹화 가능
  • VPN나 직접 연결 서비스를 써서 온프레미스 인프라에서도 액세스 가능

성능:

  • 수십 GB/s, 수백만 IOPS 그리고 수백 PB의 데이터를 처리할 수 있습니다.
  • 고가용성 다중 AZ에 대해 FSx 구성 가능

스토리지 옵션

  • SSD
    • 이것은 지연 시간에 민감한 워크로드에 적합합니다.
    • 데이터베이스, 미디어 처리 데이터 분석
  • HDD
    • 홈 디렉토리나 CMS 등과 같은 워크로드용 하드 드라이브에 적합합니다.
      - CMS(Content Management System: 콘텐츠 관리 시스템)은 회사의 디지털 콘텐츠 관리를 지원
    • 지연 시간의 중요도가 낮습니다.
    • 가격이 저렴합니다.

Amazon FSx for Lustre

  • Lustre는 대규모 컴퓨팅에 사용되는 분산 파일 시스템을 수행합니다.
  • 또한, Lustre는 Linux와 Cluster의 합성어로 HPC(고성능 컴퓨팅)과 머신 러닝에 사용됩니다.
  • 동영상 처리, 금융 모델링 전자 설계 자동화와 같은 애플리케이션에 사용되며, 확장성이 상당히 높습니다.
  • 대규모 처리 용량을 갖추고 있어서

성능

  • 100 GB/s의 처리량과 수백만 IOPS 그리고 밀리 초 이하의 지연 시간을 제공

스토리지 옵션

  • SSD
    • 지연시간이 매우 짧습니다.
    • 임의의 파일 작업에 적합합니다.
  • HDD
    • 처리량이 많은 워크로드에 적합합니다.
    • 대용량이면서 순차적인 파일 작업에 적합합니다.
  • Amazon S3로 무결절성 통합이 가능합니다.
    • 즉, FSx를 통해 S3를 파일 시스템으로 읽을 수 있다는 의미
    • 물론 FSx에서 Amazon S3로 출력값을 다시 쓸 수도 있습니다.
  • VPN 또는 직접 연결을 통해 온프레미스 서버에서 사용할 수 있습니다.

FSx 파일 시스템 배포 옵션

  • Scratch File Syste

    • 스크래치 파일은 임시 스토리지로 데이터가 복제되지 않습니다.
      • 기저 서버가 오작동하면 파일이 모두 유실
    • 최적화로 초과 버스트를 사용할 수 있어 버스트 처리량이 매우 높습니다.
      • 영구 파일 시스템의 6배의 성능
      • 200MBps per Tib
    • 데이터 저장소에 추가로 S3버킷을 둘 수는 있습니다.
      사용례:
      • 단기 처리 데이터나 데이터를 복제하지 않고 비용을 최적화하려고 할 때 사용됩니다.
  • Persistent File System

    • 장기 보관을 위한 스토리지로 동일한 가용영역에 데이터가 복제됩니다.
      • 다른 AZ간이 아닌, 동일한 AZ 내에 복제
      • 기저 서버가 오작동했을 때, 몇분 내에 해당 파일 대체
    • 민감한 데이터를 오래 처리하거나 보관하는 데 사용됩니다.
      사용례:
      • 민감한 데이터의 장기 처리 및 스토리지

Amazon FSx for NetApp ONTAP

  • NFS, SMB, iSCSI 프로토콜과 호환 가능합니다
  • FSx for NetApp ONTAP 파일 시스템을 사용하여 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있습니다
  • 다양한 운영 체제에서 사용이 가능하여 호환 폭이 아주 넓습니다. Linux, Windows, MacOS AWS의 VMware Cloud, Workspaces, Appstream, EC2, ECS, EKS
  • 오토스케일링을 통해 스토리지 자동으로 확장 및 축소 가능
  • 복제와 스냅샷 기능도 지원
  • 비용도 적게 들고 데이터 압축이나 데이터 중복제거도 가능합니다
    • 중복파일 찾기 가능
  • 새 워크로드 등을 테스트할 때 상당히 유용한 지정 시간 복제 기능
    • 파일 시스템에서 신속히 복제가 가능하고 스테이징 파일 시스템을 둘 수 있습니다.

Amazon FSx for OpenZFS

  • AWS의 관리형 OpenZFS 파일 시스템으로 여러 버전에서의 NFS 프로토콜과 호환이 가능
  • 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
    • Linux, Mac, Windows에서 사용할 수 있습니다
  • 성능이 상당히 좋아서 1,000,000 IOPS까지 확장 가능하고 지연 시간은 0.5ms 이하입니다.
  • 스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없습니다
  • NetApp ONTAP처럼 역시 지정 시간 동시 복제 기능이 있어서 새 워크로드 테스트 시에 유용

https://jayendrapatil.com/aws-data-transfer-services/
https://docs.aws.amazon.com/fsx/latest/LustreGuide/using-fsx-lustre.html

AWS Certified Solutions Architect Associate 시험합격!

profile
42seoul, blockchain, web 3.0

0개의 댓글