Amazon FSx
Amazon FSx
- AWS의 관리형 서비스로, 클라우드 내 다기능 고성능 파일 시스템을 쉽고 비용 효과적으로 시작, 실행 및 확장할 수 있도록 합니다.
- 완전 관리형 서비스이며 S3나 EFS 대신 다른 서비스를 사용하고 싶을 경우 사용합니다.
- EFS:
Linux 시스템을 위한 공유 POSIX 시스템
- AWS에 RDS말고 MySQL나 Postgres를 실행하는 것과 같은 개념
- FSx를 타사 고성능 파일 시스템을 실행하는 방법으로 생각해야 합니다.
- Lustre용 FSx
- Windows File Server용 FSx
- NetApp ONTAP용 FSx
- OpenZFS용 FSx
FSx 종류
Amazon FSx for Windows (File Server)
- 완전 관리형 Windows 파일 서버 공유 드라이브
- Window를 사용하기 때문에 Windows NTFS와 SMB 프로토콜을 지원합니다.
NTFS: Microsoft Windows의 파일 시스템
SMB: 마이크로소프트사와 인텔이 윈도우 시스템이 다른 시스템의 디스크나 프린터와 같은 자원을 공유할 있도록하기 위해 개발된 프로토콜
- Microsoft Active Directory 통합을 지원하기 때문에, 사용자 보안을 추가할 수 있고 ACL로 사용자 할당량을 추가해 액세스 제어가능
ACL: 액세스 제어 목록은 개체나 개체 속성에 적용되어 있는 허가 목록
- Windows와 Linux 컴퓨터에서 액세스할 수 있는 완전 관리형 Windows 파일 시스템 공유 드라이브를 제공합니다.
- Linux EC2 인스턴스에 탑재할 수도 있어서 Windows와 Linux 모두에서 작동합니다.
- 기존에 온프레스 등에 Windows 파일 서버가 있는 경우, Microsoft 분산 파일 시스템인 DFS기능을 이용해서 파일을 그룹화 가능
- VPN나 직접 연결 서비스를 써서 온프레미스 인프라에서도 액세스 가능
성능:
수십 GB/s, 수백만 IOPS 그리고 수백 PB의 데이터를 처리
할 수 있습니다.
- 고가용성 다중 AZ에 대해 FSx 구성 가능
스토리지 옵션
- SSD
- 이것은 지연 시간에 민감한 워크로드에 적합합니다.
- 데이터베이스, 미디어 처리 데이터 분석
- HDD
- 홈 디렉토리나 CMS 등과 같은 워크로드용 하드 드라이브에 적합합니다.
- CMS(Content Management System: 콘텐츠 관리 시스템)은 회사의 디지털 콘텐츠 관리를 지원
- 지연 시간의 중요도가 낮습니다.
- 가격이 저렴합니다.
Amazon FSx for Lustre
- Lustre는 대규모 컴퓨팅에 사용되는 분산 파일 시스템을 수행합니다.
- 또한, Lustre는 Linux와 Cluster의 합성어로 HPC(고성능 컴퓨팅)과 머신 러닝에 사용됩니다.
- 동영상 처리, 금융 모델링 전자 설계 자동화와 같은 애플리케이션에 사용되며, 확장성이 상당히 높습니다.
- 대규모 처리 용량을 갖추고 있어서
성능
100 GB/s의 처리량과 수백만 IOPS 그리고 밀리 초 이하의 지연 시간을 제공
스토리지 옵션
- SSD
- 지연시간이 매우 짧습니다.
- 임의의 파일 작업에 적합합니다.
- HDD
- 처리량이 많은 워크로드에 적합합니다.
- 대용량이면서 순차적인 파일 작업에 적합합니다.
- Amazon S3로 무결절성 통합이 가능합니다.
- 즉, FSx를 통해 S3를 파일 시스템으로 읽을 수 있다는 의미
- 물론 FSx에서 Amazon S3로 출력값을 다시 쓸 수도 있습니다.
- VPN 또는 직접 연결을 통해 온프레미스 서버에서 사용할 수 있습니다.
FSx 파일 시스템 배포 옵션
-
Scratch File Syste
- 스크래치 파일은 임시 스토리지로 데이터가 복제되지 않습니다.
- 최적화로 초과 버스트를 사용할 수 있어 버스트 처리량이 매우 높습니다.
- 영구 파일 시스템의 6배의 성능
- 200MBps per Tib
- 데이터 저장소에 추가로 S3버킷을 둘 수는 있습니다.
사용례:
- 단기 처리 데이터나 데이터를 복제하지 않고 비용을 최적화하려고 할 때 사용됩니다.
-
Persistent File System
- 장기 보관을 위한 스토리지로 동일한 가용영역에 데이터가 복제됩니다.
- 다른 AZ간이 아닌, 동일한 AZ 내에 복제
- 기저 서버가 오작동했을 때, 몇분 내에 해당 파일 대체
- 민감한 데이터를 오래 처리하거나 보관하는 데 사용됩니다.
사용례:
Amazon FSx for NetApp ONTAP
- NFS, SMB, iSCSI 프로토콜과 호환 가능합니다
- FSx for NetApp ONTAP 파일 시스템을 사용하여 온프레미스 시스템의 ONTAP이나 NAS에서 실행 중인 워크로드를 AWS로 옮길 수 있습니다
- 다양한 운영 체제에서 사용이 가능하여 호환 폭이 아주 넓습니다.
Linux, Windows, MacOS AWS의 VMware Cloud, Workspaces, Appstream, EC2, ECS, EKS
- 오토스케일링을 통해 스토리지 자동으로 확장 및 축소 가능
- 복제와 스냅샷 기능도 지원
- 비용도 적게 들고 데이터 압축이나 데이터 중복제거도 가능합니다
- 새 워크로드 등을 테스트할 때 상당히 유용한 지정 시간 복제 기능
- 파일 시스템에서 신속히 복제가 가능하고 스테이징 파일 시스템을 둘 수 있습니다.
Amazon FSx for OpenZFS
- AWS의 관리형 OpenZFS 파일 시스템으로 여러 버전에서의 NFS 프로토콜과 호환이 가능
- 주로 ZFS에서 실행되는 워크로드를 내부적으로 AWS로 옮길 때 사용
Linux, Mac, Windows에서 사용
할 수 있습니다
- 성능이 상당히 좋아서 1,000,000 IOPS까지 확장 가능하고 지연 시간은 0.5ms 이하입니다.
- 스냅샷, 압축을 지원하고 비용이 적지만 데이터 중복제거 기능은 없습니다
- NetApp ONTAP처럼 역시 지정 시간 동시 복제 기능이 있어서 새 워크로드 테스트 시에 유용
https://jayendrapatil.com/aws-data-transfer-services/
https://docs.aws.amazon.com/fsx/latest/LustreGuide/using-fsx-lustre.html
AWS Certified Solutions Architect Associate 시험합격!