[AWS] Storage - FSx, S3

FSx (File System for X)

AWS에서 제공하는 완전 관리형 파일 스토리지 서비스로 특정 플랫폼에 최적화된 다양한 파일 시스템을 선택해 사용할 수 있다.

X의 의미
Windows, Lustre, NetApp ONTAP 등 다양한 플랫폼 의미

• AWS가 파일 시스템의 하드웨어 프로비저닝 등을 관리하기에 운영 오버헤드 최소화
• 특정 워크로드에 특화되 파일 시스템 제공
• 고성능 컴퓨팅(HPC) 워크로드와 같이 낮은 지연시간과 높은 처리량을 요구하는 시나리오에 최적화
• 온프레미스 환경과 seamless한 통합 가능하게 함

파일 시스템 유형	설명
Amazon FSx for Windows File Server	- Windows 기반 애플리케이션을 위한 완전 관리형 SMB(Server Message Block) 파일 시스템 - Active Directory 통합, Windows ACL 지원
Amazon FSx for Lustre	- HPC, 머신러닝, 금융 분석, 미디어 처리 등 고성능 연산 워크로드에 최적화 - Amazon S3와 통합 가능 (S3 데이터를 파일 시스템에서 직접 사용)
Amazon FSx for NetApp ONTAP	- NetApp ONTAP 기반의 기능을 클라우드에서 제공 - NFS, SMB, iSCSI 지원 - 데이터 압축, 중복제거, 스냅샷 기능 제공
Amazon FSx for OpenZFS	- OpenZFS 파일 시스템 기반 - Linux/Unix 환경에서 낮은 지연과 데이터 보호 기능 제공

주요 활용 사례

1. AD(Active Director) 통합 및 보안

기존 Active Directory 또는 AWS Managed Active Directory 직접 통합 가능하다.

• NTFS ACL(Access Control List) 및 SMB 권한 유지
• 온프레미스 AD 그룹 및 정책을 그대로 적용해 기밀/민감 파일에 대한 안전한 접근 제어 가능

2. 마이그레이션 및 하이브리드 접근

기업이 온프레미스 Windows 파일 서버 데이터를 클라우드로 이전할 때, 파일 권한(ACL/NTFS 권한) 보존이 필요하다. 단순 데이터 복사 뿐만이 아니라 누가 어떤 권한으로 접근 가능한지 까지 유지해야 한다.

특징	설명
DataSync을 활용한 마이그레이션	- AWS 제공 데이터 전송 서비스 - 단순 파일 복사뿐 아니라 ACL/NTFS 권한, 파일 메타데이터까지 그대로 보존 - 온프레미스 서버에 DataSync 에이전트 설치 후 안전하게 FSx로 전송 가능
네트워크 대역폭 부족 시 - Snowcone 활용	- 대규모 데이터 마이그레이션 시 네트워크 속도가 제한된다면 AWS Snowcone 장치 사용 가능 - 소형 물리장치에 DataSync 에이전트 설치해 데이터를 먼저 로컬에 수집 후 AWS로 전송 - 제한적인 네트워크 환경에서도 대량 데이터 효율적 이전 가능
FSx File Gateway를 통한 하이브리드 파일 접근	- 클라우드 마이그레이션 이후에도 기존 애플리케이션이 변경없이 FSx 데이터에 SMB 방식으로 접근 가능

Amazon FSx for Lustre

• HPC 워크로드 특화
• Linux 기반 POSIX 파일 시스템 지원
• S3 통합
  • 수천 개의 출력 파일을 S3로 영구 저장 가능
  • HPC 후처리 및 데이터 분석 용이
  • Snowball Edge Storage Optimized 장치 -> S3 -> FSx -> HPC 분석 가능
• 데이터 보존
  • Persistent 파일 시스템 지원
  • AZ 내 복제 및 S3 백업 -> 데이터 내구성 및 고가용성 보장

Amazon FSx for NetApp ONTAP

• NetApp ONTAP의 데이터 액세스 및 관리 기능을 클라우드에서 제공
• 완전 관리형 공유 스토리지
• 다중 프로토콜 지원
  • NFS + SMB 동시 지원 (AWS 서비스 중 유일)
  • Windows SMB 파일 서버 + Linux NFS 파일 서버 통합
• 데이터 자동 계층화
  • HOT 데이터 : SSD 저장 -> 낮은 지연시간
  • COLD 데이터 : S3 자동 계층화 -> 비용 절감
• NetApp SnapMirror를 통한 자동 데이터 복제

Amazon FSx for OpenZFS

• OpenZFS 기반 데이터 관리 기능 제공
• 낮은 지연 시간 제공
• 다중 프로토콜 지원
  - NFS 및 SMB 모두 지원
  • 온프레미스 NAS 시스템에서 클라우드로 지연 시간이 만감한 HPC 워크로드 마이그레이션에 적합

Amazon FSx for Windows File Server

• Windows 기반 애플리케이션 전용 완전 관리형 파일 시스템
• SMB(Server Message Block) 프로토콜 지원

SMB?
네트워크 상에서 파일, 폴더, 프린터 등을 공유할 수 있도록 해주는 통신 규약

Amazon S3

객체 스토리지 서비스(무제한 확장성, 높은 내구성 및 가용성을 제공하는 객체 스토리지 서비스)로 파일을 버킷 단위로 저장한다.

데이터 전송 및 수집 최적화

방법	설명
S3 Transfer Acceleration	지리적으로 멀리 떨어진 사용자가 S3에 데이터를 업로드/다운로드할 때 CloudFront의 글로벌 엣지 로케이션을 활용해 속도 높이는 방식
S3 Multipart Upload	대용량 객체 업로드 시 파일을 조각으로 나누어 병렬 전송한 후에 S3에서 합치는 방식
AWS DataSync	온프레미스 스토리지(NFS, SMB) 데이터를 S3로 대량 안전하게 마이그레이션하거나 주기적으로 백업할 때 사용
AWS Storage Gateway (File Gateway)	온프레미스 애플리케이션이 S3를 파일 스토리지처럼 사용할 수 있도록 인터페이스 제공
S3 Preigned URL	AWS 자격 증명 없이도 특정 S3 객체에 대해 일시적인 접근 권한 부여

S3 스토리지 클래스

요금제	설명
S3 Standard	- 자주 접근하는 데이터를 위한 기본 스토리지 - 높은 내구성/가용성
S3 Standard-IA (Infrequent Access)	자주 접근하지 않지만 즉시 검색이 필요한 데이터를 위한 비용 효율적 옵션
S3 One Zone-IA	- 단일 AZ에 저장되는 저렴한 옵션 - 비용은 저렴하지만 AZ 장애 시 데이터 손실 위험 존재
S3 Intelligent-Tiering	- 접근 패턴이 불규칙한 데이터를 자동으로 가장 비용 효율적인 계층으로 이동 - 사용자는 별도로 관리할 필요없음
S3 Glacier Flexible Retrieval	- 장기 보관용 아카이빙 스토리지 - 수분~수시간 내 검색 가능
S3 Glacier Deep Archive	- 가장 저렴한 장기 보관 스토리지 - 수시간 내 검색 가능

비용 최적화

방법	설명
Lifecycle 정책	오래된 데이터는 저비용 스토리지로 이동하거나 삭제 자동화
불완전한 멀티파트 업로드 정리	자동 정리 기능을 통해 불완전한 객체를 삭제해 비용 최적화
이전 버전 객체 만료	버전 관리가 활성화된 경우 이전 버전의 객체 자동으로 삭제해 비용 최적화
Requester Pays	S3가 버킷에서 데이터를 다운로드하는 요청자가 데이터 전송 비용을 부담하게 하여 소유자의 비용을 최소화

보안 및 접근 제어

암호화 방식	방법
SSE-S3	AWS 제공 키를 이용해 S3 객체 저장 시 암호화
SSE-KMS	AWS KMS를 사용해 데이터 암호화
SSE-C	고객이 제공하는 자체 암호화키를 사용해 S3 객체 저장 시 암호화

2023년 1월 이후 모든 객체는 자동으로 SSE-S3 서버 측 암호화를 적용한다.

암호화/보안 기능	설명
S3 Bucket Key	- SSE-KMS(Server-Side Encryption with KMS) 사용 시 KMS API 호출 수를 줄여 비용 절감 및 성능 최적화 제공 - S3가 자체적으로 KMS 키를 캐싱/관리하여 대량 객체 암호화 시에도 효율적 - KMS API 요청 비용이 크게 발생하는 워크로드(예: 수십억 객체 저장)에 유용
HTTPS 전송 암호화	- 기본적으로 S3는 HTTPS를 지원하며, 버킷 정책(Bucket Policy)으로 모든 요청을 HTTPS로 강제 가능 - 암호화되지 않은 HTTP 요청은 차단 → 전송 중 데이터 스니핑/변조 방지 - 클라이언트와 S3 간 TLS(전송 계층 보안) 기반 암호화
S3 Object Lock	- WORM(Write Once Read Many) 모델 → 객체가 한번 쓰이면 일정 기간 동안 변경/삭제 불가 - 보존 모드 • Governance Mode: 관리자 권한으로 예외 조치 가능 • Compliance Mode: 루트 사용자도 수정/삭제 불가, 강력한 규정 준수 모드 - Legal Hold: 법적 문제 발생 시 별도의 보존 플래그를 설정해 무기한 보존 가능
SSE-S3 (Server-Side Encryption with Amazon S3)	- S3 자체 관리 키(AES-256)로 서버 측 암호화 수행 - 별도 키 관리 필요 없음 - 2023년 1월 이후 기본적으로 모든 객체에 자동 적용
SSE-KMS (Server-Side Encryption with KMS Keys)	- AWS KMS(Key Management Service)를 통한 키 관리 - 고객이 직접 생성한 CMK(Customer Managed Key) 또는 AWS 관리형 키 사용 가능 - 키 사용에 대한 CloudTrail 로그 기록으로 감사 및 규정 준수 강화
SSE-C (Server-Side Encryption with Customer-Provided Keys)	- 고객이 직접 암호화 키를 제공, AWS는 키를 저장하지 않고 데이터 암호화/복호화에만 사용 - 키를 직접 주기적으로 교체·관리해야 하므로 보안 책임은 고객에게 있음
CSE (Client-Side Encryption)	- 데이터를 클라이언트 단에서 암호화 후 업로드 - AWS는 암호화되지 않은 데이터를 전혀 보지 못함 - AWS KMS SDK 또는 고객 자체 키 관리 솔루션 사용 가능
S3 Block Public Access	- 버킷/객체 단위에서 잘못된 공개 설정을 막기 위한 제어 기능 - IAM/버킷 정책/ACL에서 퍼블릭 액세스 허용을 무시하고 차단 가능 - 실수로 데이터가 외부에 노출되는 사고 방지
S3 Access Points	- 대규모 데이터셋을 여러 팀/애플리케이션이 사용할 때, 개별 액세스 포인트 생성 가능 - 각 포인트별로 VPC 제한, 정책 설정 가능 → 세분화된 보안 관리
VPC Endpoint (Gateway / Interface)	- 인터넷 게이트웨이, NAT 없이 VPC 내부에서 S3에 프라이빗하게 접근 가능 - 데이터 전송이 AWS 네트워크 내부에서만 이뤄지므로 보안성 강화