[AWS SAA] 7. Snow Family & FSx

Sunwu Park·2024년 12월 9일
aws

AWS-SAA

목록 보기
8/12

AWS Snow Family

AWS Snow Family는 안전하고 휴대성이 뛰어난 장치를 통해 데이터를 엣지에서 수집 및 처리하고, AWS로 데이터를 이동할 수 있는 강력한 솔루션

Snow Family 사용 프로세스

  1. AWS 콘솔에서 Snowball 장치를 요청
    • 장치를 요청하고 배송받습니다.
  2. 서버에 Snowball 클라이언트 또는 AWS OpsHub 설치
    • Snowball과 연결하기 위해 필요합니다.
  3. 서버와 Snowball을 연결하고 파일 복사
    • Snowball 클라이언트를 사용하여 데이터를 전송합니다.
  4. 장치 반환
    • 작업이 완료되면 Snowball을 AWS 시설로 배송합니다.
  5. AWS에서 S3 버킷으로 데이터 로드
    • AWS가 데이터를 S3에 업로드합니다.
  6. Snowball 데이터 완전 삭제
    • 데이터 보안을 위해 장치는 완전히 초기화됩니다.

엣지 컴퓨팅(Edge Computing)이란?

엣지 컴퓨팅은 데이터가 생성되는 위치(엣지)에서 실시간으로 데이터를 처리하는 방식입니다. 다음과 같은 환경에서 활용됩니다:

  • 도로 위의 트럭
  • 바다 위의 배
  • 지하의 광산 작업장

엣지 컴퓨팅을 위한 Snowball Edge / Snowcone

엣지 환경에서 Snow Family 장치를 사용하여 컴퓨팅을 수행합니다:

  • Snowcone
    • 2개의 CPU, 4GB 메모리, 유선/무선 네트워크 지원
  • Snowball Edge
    • 컴퓨팅 최적화 모델 또는 스토리지 최적화 모델 제공
    • EC2 인스턴스 또는 Lambda 함수 실행 가능

어떤 것을 선택해야 하나요?
1. Snowcone:

  • 소규모 데이터 전송이 필요하거나 원격지에서 데이터 처리를 수행해야 할 때.
  • 휴대성이 중요하고, 네트워크 연결이 제한된 환경에서 사용.
  1. Snowball:
  • 대규모 데이터 전송이나 고성능 엣지 컴퓨팅이 필요할 때.
  • TB~PB 단위의 데이터를 클라우드로 전송하거나, 엣지에서 머신 러닝 및 고성능 작업을 수행할 때.

주요 활용 사례

  • 데이터 사전 처리
  • 머신 러닝 작업
  • 미디어 트랜스코딩(형식 변환)

Snowball을 사용한 Glacier로 데이터 이동 아키텍처

Snowball은 직접 Glacier로 데이터를 전송할 수 없다.
1. Amazon S3로 데이터 로드
Snowball을 통해 S3에 데이터를 업로드합니다.
2. S3 수명 주기 정책(Lifecycle Policy) 설정
정책을 통해 데이터를 S3에서 Glacier로 이동시킵니다.

Amazon FSx: AWS에서 제공하는 고성능 파일 시스템

Amazon FSx는 AWS에서 서드파티 고성능 파일 시스템을 제공하는 완전 관리형 서비스

Amazon FSx for Windows (파일 서버)

FSx for Windows는 Windows 파일 시스템 공유 드라이브를 완전 관리형 서비스로 제공

  • 지원 프로토콜: SMB, Windows NTFS
  • 통합 기능: Microsoft Active Directory, ACL(액세스 제어 목록), 사용자 할당량(쿼터)
  • 운영 체제 지원: Linux EC2 인스턴스에서도 마운트 가능
  • 고급 기능: Microsoft DFS(분산 파일 시스템) 네임스페이스 지원 (여러 FS 간 파일 그룹화)
  • 성능: 최대 수십 GB/s, 수백만 IOPS, 수백 PB 데이터 처리 가능
  • 스토리지 옵션:
    • SSD: 낮은 대기 시간이 중요한 워크로드 (데이터베이스, 미디어 처리, 데이터 분석 등)
    • HDD: 일반적인 워크로드 (홈 디렉토리, CMS 등)
  • 기타 기능:
    • 온프레미스 인프라에서도 접근 가능 (VPN 또는 Direct Connect)
    • Multi-AZ 구성 가능: 고가용성 보장
    • 백업: 데이터는 매일 S3로 백업

Amazon FSx for Lustre

Lustre는 대규모 컴퓨팅을 위한 병렬 분산 파일 시스템으로, 이름은 "Linux"와 "Cluster"에서 유래

  • 사용 사례:
    • 머신 러닝
    • 고성능 컴퓨팅(HPC)
    • 비디오 처리, 금융 모델링, 전자 설계 자동화(EDA)
  • 성능: 최대 수백 GB/s, 수백만 IOPS, 서브밀리초(latency)
  • 스토리지 옵션:
    • SSD: 낮은 대기 시간, IOPS 집중 워크로드, 작은 파일 및 랜덤 작업
    • HDD: 높은 처리량이 필요한 대규모 순차 작업
  • S3 통합:
    • S3 데이터를 파일 시스템처럼 읽기
    • 계산 결과를 S3에 쓰기
  • 온프레미스 지원: VPN 또는 Direct Connect를 통해 사용 가능

FSx Lustre 파일 시스템 배포 옵션

  1. 스크래치 파일 시스템 (Scratch File System)
    • 임시 스토리지 (데이터 복제 없음, 서버 실패 시 데이터 유지 안 됨)
    • 고속 처리 지원 (6배 빠른 성능, TiB당 200MB/s)
    • 사용 사례: 단기 처리, 비용 최적화
  2. 지속 파일 시스템 (Persistent File System)
    • 장기 스토리지
    • 동일 AZ 내 데이터 복제 (서버 장애 시 몇 분 내 복구 가능)
    • 사용 사례: 장기 처리, 민감한 데이터

Amazon FSx for NetApp ONTAP

AWS에서 관리되는 NetApp ONTAP 파일 시스템

  • 지원 프로토콜: NFS, SMB, iSCSI
  • 지원 플랫폼:
    • Linux, Windows, MacOS
    • VMware Cloud on AWS
    • Amazon Workspaces, AppStream 2.0, EC2, ECS, EKS
  • 기능:
    • 스토리지 자동 축소/확장
    • 스냅샷, 복제, 저비용 저장, 압축
    • 즉각적 복제: 특정 시점의 클론 생성 가능 (테스트 워크로드에 유용)

Amazon FSx for OpenZFS

AWS에서 관리되는 OpenZFS 파일 시스템

  • 지원 프로토콜: NFS(v3, v4, v4.1, v4.2)
  • 지원 플랫폼:
    • Linux, Windows, MacOS
    • VMware Cloud on AWS
    • Amazon Workspaces, AppStream 2.0, EC2, ECS, EKS
  • 성능: 최대 100만 IOPS, 0.5ms 이하 지연 시간
  • 기능:
    • 스냅샷, 압축, 저비용 저장
    • 즉각적 복제: 특정 시점의 클론 생성 가능 (테스트 워크로드에 유용)

하이브리드 클라우드 스토리지

AWS는 클라우드와 온프레미스를 결합한 하이브리드 클라우드를 적극적으로 지원합니다.

  • 하이브리드 클라우드 필요성:
    • 장기적인 클라우드 마이그레이션
    • 보안 요구사항
    • 규정 준수 요구사항
    • IT 전략
  • S3 데이터를 온프레미스에서 사용하는 방법:
    AWS Storage Gateway를 통해 S3 데이터를 온프레미스 환경에서 노출 가능합니다.

AWS Storage Gateway

AWS Storage Gateway는 온프레미스 데이터를 클라우드와 연결하는 다리 역할
데이터 복구, 백업, 캐시 및 저지연 파일 접근과 같은 다양한 사용 사례

AWS Storage Gateway 종류와 기능

1. S3 File Gateway

  • 설명: NFS 및 SMB 프로토콜을 사용해 S3 버킷에 접근할 수 있는 파일 게이트웨이
  • 주요 기능:
    • 최근 사용 데이터는 파일 게이트웨이에 캐시됨
    • 지원 S3 스토리지 클래스: Standard, Standard-IA, One Zone-IA, Intelligent Tiering
    • 수명 주기 정책(Lifecycle Policy)을 통해 S3 Glacier로 데이터 이동 가능
    • IAM 역할을 통해 버킷 접근 제어
    • SMB 프로토콜은 Active Directory(AD)와 통합 가능 (사용자 인증 지원)

2. Amazon FSx File Gateway

  • 설명: Amazon FSx for Windows File Server에 네이티브 액세스 제공
  • 주요 기능:
    • 자주 사용하는 데이터를 위한 로컬 캐시
    • Windows 네이티브 호환성 (SMB, NTFS, Active Directory)
    • 그룹 파일 공유 및 홈 디렉토리 사용에 적합

3. Volume Gateway

  • 설명: iSCSI 프로토콜 기반의 블록 스토리지, S3로 백업됨
  • 주요 기능:
    • EBS 스냅샷으로 지원 (온프레미스 볼륨 복구 가능)
    • 저장 방식:
      • 캐시형 볼륨(Cached Volumes): 최근 데이터에 대한 저지연 접근
      • 저장형 볼륨(Stored Volumes): 전체 데이터셋을 온프레미스에 저장하며 S3로 백업

4. Tape Gateway

  • 설명: 물리 테이프 기반 백업 프로세스를 클라우드로 전환
  • 주요 기능:
    • Amazon S3 및 Glacier로 백업되는 가상 테이프 라이브러리(VTL)
    • 기존 테이프 기반 프로세스를 활용하며 iSCSI 인터페이스 제공
    • 주요 백업 소프트웨어 벤더와 호환 가능

Storage Gateway 하드웨어 어플라이언스

  • 설명: Storage Gateway를 온프레미스 가상화 없이 사용 가능하도록 하는 하드웨어
  • 특징:
    • CPU, 메모리, 네트워크, SSD 캐시 리소스 내장
    • File Gateway와 Volume Gateway에 사용 가능
    • 소규모 데이터 센터의 일일 NFS 백업에 적합
    • Amazon.com에서 구매 가능

AWS Transfer Family

AWS Transfer Family는 Amazon S3 또는 EFS로 파일을 전송하는 완전 관리형 서비스

  • 지원 프로토콜:
    • FTP (File Transfer Protocol)
    • FTPS (SSL을 사용하는 FTP)
    • SFTP (Secure File Transfer Protocol)
  • 주요 특징:
    • 관리형 인프라, 다중 AZ, 확장 가능, 신뢰성 보장
    • 시간당 프로비저닝된 엔드포인트와 데이터 전송량에 따라 과금
    • 사용자의 자격 증명을 서비스 내에서 관리하거나 기존 인증 시스템과 통합 가능 (예: Active Directory, LDAP, Okta, Amazon Cognito 등)
  • 사용 사례:
    • 파일 공유, 공공 데이터 세트 관리, CRM/ERP와의 데이터 통합 등

AWS DataSync

AWS DataSync는 대규모 데이터를 AWS로 이동하거나 AWS 내에서 이동하는 솔루션입니다.

  • 주요 기능:
    • 온프레미스/NFS/SMB/HDFS/S3 API에서 AWS로 데이터 전송 (에이전트 필요)
    • AWS 간 스토리지 서비스 전송 (에이전트 불필요)
  • 지원 대상:
    • Amazon S3 (모든 스토리지 클래스 포함 Glacier)
    • Amazon EFS
    • Amazon FSx (Windows, Lustre, NetApp, OpenZFS 등)
  • 기능:
    • 복제 작업은 시간별, 일별, 주별로 예약 가능
    • 파일 권한과 메타데이터(NFS POSIX, SMB 등) 보존
    • 에이전트 하나로 최대 10Gbps 처리, 대역폭 제한 설정 가능

  1. 전용 데이터 전송 서비스
    AWS DataSync는 S3, EFS, FSx 등 다양한 AWS 스토리지 서비스 간 데이터 이동을 자동화하고 최적화하는 데 설계되었습니다.

AWS Transfer Family는 적합하지 않은 이유

AWS Transfer Family는 FTP, FTPS, SFTP를 통해 사용자 간 파일 전송에 주로 사용됩니다. S3와 EFS 간의 대규모 데이터 이동을 자동화하거나 최적화하는 기능은 없습니다.

AWS 스토리지 서비스 비교

AWS는 다양한 스토리지 서비스를 제공하며, 각 서비스는 고유한 사용 사례와 특성을 가집니다. 아래는 주요 스토리지 서비스를 비교한 내용입니다.

서비스설명주요 특징
S3객체 스토리지- 파일 및 데이터 저장
- 무제한 확장 가능
S3 Glacier장기 데이터 보관용 객체 스토리지- 저비용, 장기 보관
- 느린 검색 속도
EBS VolumesEC2 인스턴스에 연결된 네트워크 스토리지- 한 번에 하나의 EC2에 연결
- 블록 스토리지
Instance StorageEC2 인스턴스의 물리적 스토리지- 높은 IOPS
- 임시 데이터 저장
EFSLinux 인스턴스를 위한 네트워크 파일 시스템- POSIX 파일 시스템
- 여러 EC2에서 공유 가능
FSx for WindowsWindows 서버를 위한 네트워크 파일 시스템- SMB 및 NTFS 지원
- Active Directory 통합
FSx for Lustre고성능 컴퓨팅을 위한 Linux 파일 시스템- 병렬 처리 지원
- 머신 러닝 및 HPC 워크로드
FSx for NetApp ONTAP고호환성 파일 시스템- NFS, SMB, iSCSI 지원
- 압축 및 복제 기능
FSx for OpenZFS관리형 ZFS 파일 시스템- NFS 지원
- 낮은 대기 시간, 스냅샷 기능
Storage Gateway온프레미스와 클라우드 간 데이터 연결- S3 및 FSx 파일 게이트웨이
- Tape Gateway
Transfer FamilyS3 또는 EFS 위에 FTP, FTPS, SFTP 인터페이스 제공- 기존 파일 전송 워크플로와 통합 가능
DataSync온프레미스 및 AWS 간 데이터 동기화- 복제 작업 예약 가능
- 메타데이터 보존
Snowcone / Snowball / Snowmobile물리적 장치를 이용해 대규모 데이터를 클라우드로 전송- 네트워크 연결 없이 데이터 이동 가능
Database특정 워크로드를 위한 스토리지 (인덱싱 및 쿼리 가능)- SQL/NoSQL 데이터 저장
- 데이터베이스 전용

사용 사례에 따른 추천 서비스

  • 일반 데이터 저장: S3, EBS, EFS
  • 장기 보관: S3 Glacier
  • 고성능 컴퓨팅: FSx for Lustre
  • Windows 환경: FSx for Windows
  • 다양한 OS 호환성: FSx for NetApp ONTAP
  • ZFS 파일 시스템: FSx for OpenZFS
  • 온프레미스와 클라우드 통합: Storage Gateway
  • FTP 기반 파일 전송: Transfer Family
  • 대규모 데이터 이동: Snow Family (Snowcone, Snowball, Snowmobile)
  • 데이터베이스 워크로드: RDS, DynamoDB 등 데이터베이스 서비스
profile
Sunwu Park
이전 포스트

[AWS SAA] 6. CloudFront & Global Accelerator

다음 포스트

[AWS SAA] 8. Integration & Messaging

0개의 댓글