AWS 스토리지 추가 기능

Siyun·2025년 3월 1일

AWS

목록 보기

21/37

AWS Snow Family

엣지에서 데이터를 수집 및 처리하고 AWS 안팎으로 데이터를 마이그레이션하는 데 사용되는 안전한 휴대용 장치
데이터 마이그레이션을 할 때 연결이 제한적, 대역폭이 제한적, 네트워크 비용이 매우 높음, 대역폭을 공유 중이라 라이선스를 극대화 할 수 없음, 연결 안정성에 문제가 있음 이러한 경우들에서 AWS Snow Family를 사용하는 것이 좋다.
오프라인 디바이스이다.
네트워크를 통해 데이터를 전송하는 데 일주일 이상 걸리는 경우 snowball 장치를 사용해야 한다.
스노우볼 장치를 받으면 데이터를 로드하고 AWS로 전송하면 AWS가 데이터를 S3버킷으로 직접 가져온다. (오프라인 데이터 전송)
마이그레이션 프로세스 외에도 엣지 컴퓨팅에서 사용할 수 있다.
엣지 컴퓨팅 사례 전용으로 compute optimized instance나, 약간의 처리 능력이 있는 storage optimized가 있다.
Snowball을 통해 데이터를 직접 Glacier에 불러올 순 없고 수명 주기 정책을 사용해 Glacier로 객체를 전환할 수 있다.

엣지 컴퓨팅이란?
엣지 위치(도로 위 트럭, 바다위 선박, 지상의 채굴장 등)에서 생성된 데이터를 처리하는 것.
엣지 위치에서는 인터넷이 제한적이거나 아예 없을 수 있다. 여기에서도 스노우볼 엣지 장치 또는 스노우콘 장치를 주문하고 엣지 컴퓨팅을 수행한다.

두 가지 종류가 있음
1) snowcone(작은 장치)
: 매우 작은 저장 용량을 위함. 8~14TB 사이에서 선택할 수 있다.
마이그레이션 크기가 TB이하로 매우 작은 경우 사용한다.

2) snowball edge(큰 장치)
스토리지 용량은 80TB에서 210TB까지 다양하다.
마이그레이션 규모가 최대 PB에 달하고다양한 스노우볼 엣지 디바이스를 주문할 때 사용한다.

사용 프로세스

먼저 AWS 콘솔에서 스노우볼 디바이스를 요청하여 전송한다. 그런다음 서버에 스노우볼 클라이언트 또는 AWS Ops Hub를 설치하여 데이터를 전송한다.
스노우볼 장치를 서버에 연결하고 클라이언트를 사용하여 파일 복사를 시작한다.
기기를 반송한다.
데이터가 S3버킷에 로드되면 스노우볼이 완전히 지워지고 다른 고객에게 전송될 수 있다.

Snow Family 실습

1. AWS Snow Family 콘솔에서 Order an AWS Snow family device 선택

2. 기기 이름 입력, 작업 유형 선택

가장 흔한 작업은 데이터를 S3로 가져오는 작업이다.
로컬 컴퓨팅과 스토리지용으로 주문할 경우 인터넷 연결이 없는 격오지에서 실행할 수 있는 일종의 서버를 갖게 된다.

3. 디바이스, 가격 옵션 선택

필요한 성능의 디바이스를 선택한다.
가격 옵션은 온디맨드, 월간, 1년-3년 약정이 있다.

4. 스토리지 유형, AMI선택

스토리지 유형과 컴퓨팅 수요에 따른 AMI 선택.

5. 데이터를 로드할 S3 버킷 선택

S3 데이터 로드 작업을 선택했을 때 선택한다.

6. 기타 설정

스노우 기기가 IoT능력을 갖게 설정할 수도 있고 OpsHub나 Snowball Client를 사용해 원격으로 기기 관리를 할 수도 있다.
Snowball 기기에 어떤 유형의 암호화를 원하는지도 지정한다.
또 데이터를 전송하기 위해 S3와 SNS에 권한도 부여해야 한다.
배송 받을 주소도 입력하고 작업 상태가 변경되면 SNS 알림을 받을지도 결정한다.

Amazon FSx

완전 관리형 서비스로 타사 고성능 파일 시스템을 실행시킨다.
예를 들어 RDS에서 AWS에 MySQL이나 Postgres를 실행하는 것과 같은 개념이다.
FSx에서는 Lustre, Windows File Server, NetApp ONTAP, OpenZFS를 실행할 수 있다.

Windows File Server

Windows를 사용하기 때문에 SMB 프로토콜과 Windows NTFS를 지원한다.
Microsoft Active Directory 통합: 사용자 보안 및 ACL을 통한 액세스 제어 지원
Linux 지원: Windows뿐만 아니라 Linux EC2 인스턴스에도 마운트 가능
DFS(분산 파일 시스템) 지원: 온프레미스 Windows 파일 서버와 FSx를 그룹화 가능
고성능: 초당 수십 GB, 수백만 IOPS, 수백 PB까지 확장 가능
스토리지 옵션:
- SSD: 데이터베이스, 미디어 처리, 데이터 분석 등 저지연 워크로드
- HDD: 홈 디렉터리, CMS 등 비용 효율적인 워크로드
온프레미스 연결: 프라이빗 연결을 통한 액세스 가능
고가용성: 다중 AZ 구성 지원
자동 백업: 모든 데이터는 Amazon S3에 매일 백업

Lustre

Lustre 개요: Linux + Cluster의 합성어, 고성능 연산(HPC) 및 머신 러닝에 사용
FSx for Lustre 활용 사례: 동영상 처리, 금융 모델링, 전자 설계 자동화 등
고성능: 초당 수백 GB 처리량, 수백만 IOPS, 밀리초 이하의 지연 시간
스토리지 옵션:
- SSD: 낮은 지연 시간, 무작위 파일 작업(IOPS)
- HDD: 대용량 시퀀스 파일 작업(처리량 중심)
Amazon S3 통합: FSx를 통해 S3를 파일 시스템처럼 사용 가능, FSx 출력 데이터를 S3로 저장 가능
온프레미스 연결: VPN 및 Direct Connect를 통한 온프레미스 서버 연결 가능
파일 시스템 배포 옵션:
- 스크래치 파일 시스템:
  - 임시 스토리지, 데이터 복제 없음 → 장애 시 데이터 손실
  - 초과 버스트 지원, 영구 파일 시스템 대비 성능 6배 향상 (TiB 처리량당 초당 200MB의 속도)
  - 단기 처리 데이터, 비용 최적화
- 영구 파일 시스템:
  - 장기 스토리지, 동일 AZ 내 데이터 복제 → 장애 시 몇 분 내 대체 가능
  - 민감한 데이터 저장 및 장기 처리에 적합
FSx for Lustre 아키텍처:
- 단일 AZ 내 배포
- 영구 모드에서는 데이터 사본이 두 개(각 볼륨별 복제본 하나씩)

NetApp ONTAP

프로토콜 호환: NFS, SMB, iSCSI 지원
온프레미스 연계: 기존 ONTAP 및 NAS 워크로드를 AWS로 이전 가능
광범위한 운영 체제 지원: Linux, Windows, MacOS, VMware Cloud, Workspaces, AppStream, EC2, ECS, EKS 등
스토리지 자동 확장: 오토스케일링 지원
복제 및 스냅샷 지원: 데이터 보호 및 백업 기능 제공
비용 절감 기능: 데이터 압축, 중복 제거 지원
지정 시간 복제: 워크로드 테스트 및 스테이징 파일 시스템 생성 가능
✨빠른 복제가 필요한 경우 FSx for NetApp ONTAP 사용

OpenZFS

NFS 프로토콜 호환: 여러 버전 지원
ZFS 워크로드 이전: 내부적으로 AWS로 마이그레이션 가능
운영 체제 지원: Linux, Mac, Windows
고성능: 최대 100만 IOPS, 0.5ms 이하 지연 시간
기능 지원: 스냅샷, 압축 가능 (데이터 중복 제거 없음)
지정 시간 동시 복제: 새 워크로드 테스트에 유용

Amazon FSx 실습

1. Amazon FSx 콘솔 > Create file system 선택

4가지 옵션 중 선택

2. 파일 시스템 세부 사항 설정

배포 및 스토리지 유형, 성능의 좋고 나쁨, 처리량 등을 정할 수 있다.
네트워크와 암호화 수준을 정한다.

하이브리드 클라우드

AWS는 하이브리드 클라우드(AWS 클라우드 인프라 + 온프레미스 인프라) 방식을 권장한다.
클라우드 마이그레이션이 오래 걸리거나 보안 또는 규정 준수 요건이 있는 경우가 그렇다.
전략에 따라 엘라스틱 워크로드에만 클라우드를 활용하고 나머지는 온프레미스에 두는 방법을 사용할 수도 있다.

S3는 독점 스토리지 기술로 NFS 규정 준수 파일 시스템인 EFS와는 다르다. 이 S3데이터를 온프레미스에 두려면 Storage Gateway가 S3와 온프레미스 인프라를 이어주는 가교의 역할을 한다.

Storage Gateway

온프레미스 데이터와 클라우드 데이터 간의 가교 역할을 한다.

여러 활용 방법
- 재해 복구 목적으로 온프레미스 데이터를 클라우드에 백업
- 백업과 복구 목적으로 클라우드 마이그레이션, 혹은 온프레미스에서 클라우드 간 스토리지 확장을 사용할 수 있다.
- 클라우드에는 콜드 데이터를 두고 웜데이터를 온프레미스에 둘 수도 있다.
- 대부분의 데이터를 AWS에 저장하고 파일 액세스 지연 시간을 줄이기 위해 Storage Gateway를 온프레미스 캐시로 사용하는 방법도 있다.
Storage Gateway의 종류
- S3 파일 게이트웨이 : Glacier버킷에는 안된다.
  - S3 버킷을 온프레미스 상의 애플리케이션 서버에 연결할 때 표준 네트워크 파일 시스템을 활용하고자 한다. 이를 위해 S3 파일 게이트웨이를 생성해 애플리케이션 서버가 NFS나 SMB프로토콜을 사용해 S3 파일 게이트웨이로 전송한다. 이 프로토콜을 통해 S3 파일 게이트웨이는 해당 요청을 HTTPS 요청으로 변환시켜 S3버킷으로 보낸다.
  - 해당 객체를 아카이브하고자 할 때는 수명 주기 정책을 사용한다. 사용된 데이터는 신속한 액세스를 위해 파일 게이트웨이에 캐시로 저장된다.
  - 버킷에 액세스하기 위해 각 파일 게이트웨이마다 IAM Role을 생성해줘야 한다.
  - Windows 파일 시스템 네이티브인 SMB 프로토콜을 사용하는 경우에는 사용자 인증을 위해 Active Directory와 통합해야 한다.
- FSx 파일 게이트웨이 : Amazon FSx for Windows File Server에 네이티브 액세스를 제공한다.
  - 회사 데이터 센터에 있는 SMB 클라이언트에 액세스하려 한다면 Amazon FSx for Windows File Server를 사용하고 있는 경우에는 별 다르게 할 작업이 없다. 그럼에도 Amaxon FSx를 생성하려는 이유는 게이트웨이를 생성하면 자주 액세스하는 데이터의 로컬 캐시를 확보할 수 있다.
- 볼륨 게이트웨이: Amazon의 블록 스토리지를 사용한다.
  - 프로토콜: iSCSI 사용, Amazon S3에 데이터 볼륨 백업
  - S3에 저장된 볼륨을 EBS 스냅샷 저장: 필요 시 온프레미스 볼륨 복구 가능
  - 볼륨 게이트웨이 유형:
    - 캐시 볼륨: 최근 데이터에 대해 낮은 지연 시간 제공
    - 저장 볼륨: 전체 데이터가 온프레미스에 있으며 주기적으로 S3에 백업
  - 주요 활용 사례: 애플리케이션 서버 백업 및 온프레미스 볼륨 보호
  - 백업 방식: 볼륨 게이트웨이가 EBS 스냅샷을 생성하여 S3에 저장
- 테이프 게이트웨이:
  - 역할: 기존 물리적 테이프 대신 클라우드로 백업
  - 가상 테이프 라이브러리(VTL): Amazon S3 및 Glacier 사용
  - 백업 방식: iSCSI 인터페이스로 기존 테이프 기반 백업 프로세스와 연계
  - 데이터 저장 경로: 데이터 센터 → 테이프 게이트웨이 → Amazon S3/Glacier

Storage Gateway 설치 위치: 회사 데이터 센터 내에 설치 및 운영
Gateway를 실행할 가상 서버가 없는 경우 해결책: Storage Gateway 하드웨어 어플라이언스 사용 (amazon.com에서 주문 가능)
- 설정 가능 유형: 파일 게이트웨이, 볼륨 게이트웨이, 테이프 게이트웨이
- 필요 리소스: 충분한 CPU, 메모리, 네트워크, SSD 캐시
- 활용 사례: 가상 서버 없이 소규모 데이터 센터에서 일일 NFS 백업 수행

Storage Gateway 실습

1. Storage Gateway 콘솔 > Create gateway 선택

네 가지 게이트웨이 중 선택한다.
1) Amazon S3 파일 게이트웨이는 가장 최근에 사용한 파일에 대해 Amazon S3 온프레미스에서 로컬 캐시를 가진다.
2) Amazon FSx 파일 게이트웨이는 S3와 동일하지만 이건 온프레미스로 직접 Windows File Server를 캐싱한다.
3) Volume gateway는 옵션이 두가지다. Cached volumes는 볼륨에서 가장 최근에 사용된 데이터로의 짧은 액세스 지연 시간이 특징이다. Stored volumes는 오프사이트 백업이 예정된 온프레미스 데이터이다.

오프사이트 백업(Offsite Backup)은 데이터를 원래 위치(온프레미스 데이터센터 등)와 다른 물리적 장소에 백업하는 방법이다.

4) Tape gateway는 기존 테이프 기반 프로세스를 사용해서 데이터를 Glacier에 보관한다. VTL에서와 동일한 프로토콜을 사용한다.

2. 플랫폼 옵션을 선택한다.

VMware, Hyper-V 또는 Linux KVM 같은 온프레미스 가상화 플랫폼에서 호스팅을 할 수 있다.
Amazon EC2에서 바로 호스팅할 수도 있지만 캐싱의 이점을 얻지는 못한다.
또는 자체적인 하드웨어 어플라이언스도 가능하다.(바로 주문 가능)

AWS 전송 제품군(Transfer Family)

Amazon S3 또는 EFS의 안팎으로 데이터를 전송하려는데 대신 S3 APIs, EFS 네트워크 파일 시스템도 사용하지 않고 FTP 프로토콜만 사용하려는 경우에 사용
FTP, FTPS, SFTP의 AWS 전송을 지원한다.

FTP (File Transfer Protocol): 기본적인 파일 전송 프로토콜로, 암호화 없이 데이터를 전송하며 보안이 부족하다.

FTPS (FTP Secure): FTP에 SSL/TLS 암호화를 추가하여 데이터를 보호하지만, 여전히 기본적으로 FTP와 비슷한 방식으로 작동한다.

SFTP (SSH File Transfer Protocol): SSH 프로토콜을 기반으로 안전하게 파일을 전송하며, 모든 데이터와 명령을 암호화하여 보안이 강화된 방식이다.

완전 관리형 인프라이며 확장성, 안정성, 가용성이 높다.
가격 책정: 시간당 프로비저닝된 엔드 포인트 비용 + 전송 제품군 안팎으로 전송된 데이터의 GB당 요금
서비스 내에서 사용자 자격 증명을 저장 및 관리할 수 있다.
Microsoft Active Directory 또는 LDAP Okta, Amazon Cognito 또는 사용자 지정 소스의 기존 인증 시스템과 통합할 수 있다.
사용 사례: Amazon S3나 EFS의 FTP 인터페이스를 갖기, 파일 공유 및 공개 데이터셋 공유, CRM / ERP 등을 하기

CRM (Customer Relationship Management): 고객 관리 시스템으로, 고객과의 관계를 효과적으로 관리하고 최적화하는 소프트웨어.
ERP (Enterprise Resource Planning): 기업 자원 관리 시스템으로, 기업의 모든 자원(인사, 재무, 생산 등)을 통합하고 효율적으로 관리하는 시스템.

선택적으로 Route53의 DNS를 사용해 FTP 서비스에 고유의 호스트 이름을 제공할 수 있다.
FTP 서비스의 전송에는 IAM 역할이 있어서 S3나 EFS의 파일을 보내거나 읽도록 한다.

AWS DataSync

데이터를 동기화하며 대용량의 데이터를 한 곳에서 다른 곳으로 옮길 수 있다.
온프레미스와 AWS, 또는 다른 AWS 서비스 간에 데이터를 빠르고 안전하게 마이그레이션하는 서비스.

프로토콜: NFS, SMB, HDFS 등 다양한 프로토콜로 서버에 연결
에이전트: 온프레미스 또는 다른 클라우드에 에이전트가 필요
AWS 간 마이그레이션: 동일한 AWS 내에서 데이터 이동 시 에이전트 불필요
지원 스토리지: Amazon S3 (Glacier 포함), Amazon EFS, Amazon FSx 등
동기화 일정: 매 시간, 매일, 매주 등으로 설정 가능
메타데이터 저장 및 파일 권한: 보안 측면에서 NFS POSIX 파일 시스템과 SMB 권한을 준수함, ✨이를 이용해 파일 메타데이터 보존 가능
네트워크 성능: 에이전트는 초당 10Gb까지 처리 가능, 네트워크 성능을 초과하고 싶지 않은 경우 대역폭 제한 설정 가능
대부분의 데이터를 동기화할 수 있으나 지속적이지는 않고 일정에 따라(매 시간, 매일, 매주) 움직인다.

📍 온프레미스 파일을 AWS로 동기화하는 예시
온프레미스에는 NFS나 SMB서버가 있다. AWS의 리전에는 AWS DataSync가 있다.
1. 온프레미스에 AWS DataSync 에이전트를 설치해 NFS 또는 SMB서버에 연결한다.
2. 에이전트를 이용해 암호화를 거쳐 DataSync 서비스에 연결한다.
3. DataSync 연결은 S3 버킷이나 EFS, FSx중 어디든 연결 가능하다.

동기화는 온프레미스에서 AWS로 단방향으로 이루어질 수 있다.
AWS에서 다시 온프레미스로 동기화를 실행할 수도 있다. (양방향 동기화 가능)

DataSync를 이용하고자 하지만 네트워크 용량이 따라 주지 못하는 경우 AWS Snowcone 장치를 사용할 수 있다. Snowcone에는 DataSync에이전트가 사전에 설치되어 있다.
온프레미스에서 Snowcone을 실행하고 데이터를 가져온 다음 DataSync 에이전트를 실행하면 에이전트가 AWS 리전으로 전송되면서 AWS의 스토리지 리소스 외부에 데이터를 동기화할 수 있다.

📍 서로 다른 AWS 스토리지 서비스 간에 동기화
DataSync 서비스를 사용해 데이터 복사본을 만든다. 이 때 서로 다른 AWS 스토리지 서비스 간 메타데이터 또한 유지된다.

AWS의 여러 스토리지 옵션 정리

Amazon S3: 객체 스토리지로 API 기반으로 AWS와 연결 가능. 아카이브는 S3 Glacier 사용.
EBS (Elastic Block Store): EC2 인스턴스에 스토리지를 연결, IO1/IO2 볼륨에서 다중 연결 기능 지원.
EC2 Instance Storage: 고성능 물리 스토리지, 네트워크 스토리지 필요 없는 경우 사용.
Amazon EFS: 네트워크 파일 시스템으로 POSIX 파일 시스템 사용, 다중 AZ 간 마운트 가능.
Amazon FSx for Windows File Server: Windows 서버 파일 시스템을 필요로 하는 경우 사용.
Amazon FSx for Lustre: 고성능 연산용 Linux 파일 시스템, Lustre 클라이언트 호환.
FSx for NetApp ONTAP: 높은 운영 체제 호환성과 네트워크 파일 시스템 필요 시 사용.
FSx for OpenZFS: 관리형 ZFS 파일 시스템.
Storage Gateway: 온프레미스와 AWS 간 스토리지 연결, S3와 FSx 파일 게이트웨이로 파일 동기화, 볼륨/테이프 게이트웨이로 백업.
AWS Transfer Family: FTP, FTPS, SFTP 인터페이스 제공.
DataSync: 온프레미스와 AWS 간, 또는 AWS 간 데이터 동기화.
Snowcone, Snowball, Snowmobile: 대용량 데이터를 물리적으로 이동할 때 사용하는 장치.
Snowcone: DataSync 에이전트가 사전 설치되어 있음.
데이터베이스: 데이터베이스에 데이터를 저장할 수도 있으나 인덱스와 쿼리 작업을 요구하는 특수한 워크로드가 있기 때문에 별도로 학습 예정.

Siyun

공부 기록

이전 포스트

AWS Global Accelerator

다음 포스트