AWS Storage

⚔️ AWS Storage Service

AWS 스토리지 서비스의 장점

1. 경제성 (초기 투자 비용 적음)
2. 사용의 편리함
3. 뛰어난 보안성
4. 속도, 민첩성, 확장성

Block vs File vs Object

▶️ 블럭 스토리지:

• 사용자의 데이터가 Local Disk 또는 SAN Storage상의 Volume에 Block단위로 저장 및 Access하는 스토리지 유형. 일반적으로 파일시스템을 구성하여 사용.
• Local Disk, SAN/iSCSI 스토리지, NTFS, UFS, ExtFS, ZFS 등

▶️ 파일 스토리지:

• 파일시스템으로 구성된 저장소를 Network 기반의 Protocol을 사용하여 파일단위로 Access 하는 스토리지 유형 (NAS)
• CIFS(SMB), NFS

▶️ 오브젝트 스토리지:

• Encapsulate된 데이터 및 속성, 메타데이터, 오브젝트 ID를 저장하는 가상의 컨테이너. API 기반의 데이터 접근. 메타데이터 또는 정책에 기반한 운영.
• Amazon S3, Openstack Swift, Ceph 등

AWS 스토리지 서비스 종류

---

🏹 Block Storage

EC2인스턴스와 EBS볼륨 구조

Amazon EBS(Elastic Block Store)

• Network 연결 기반의 Block Storage
  • 가상 디스크
  • 하나의 EC2 인스턴스가 다수의 EBS 볼륨을 가질 수 있음
  • 하나의 EBS 볼륨은 한번에 하나의 EC2 인스턴스에만 연결이 가능
  • 연결 해제 후, 다른 EC2 인스턴스에 장착이 가능
• Raw Block Device
  • 포멧되어 있지 않은 Block Device
  • 데이터베이스 또는 파일시스템에 적합
• 다양한 종류의 EBS가 제공됨

Amazon EBS의 기능

항목	제공 기능
내구성 (Durable)	99% 신뢰성을 제공하게 설계됨. 다중 스토리지 복제 제공
보안성	Identity and Access 정책, 암호화 기준
성능	지연이 낮은 SSD, 일관적인 I/O 성능, 보다 높은 성능을 위하여 다수의 EBS 볼륨을 Stripe 볼륨으로 구성
백업	시점 기반 스냅샷, region간 복제 가능
확장성	손쉽게 용량 및 성능의 확장 및 축소 가능

EBS 종류별 비교

EBS-Optimized Instance?

AWS EBS의 Disk 서비스를 위하여 전용 네트워크의 대역폭을 사용하도록 구성하여 Disk 성능을 최적화 하는 기능으로 EC2의 신스턴스 타입중 C,M,R에서 추가비용 없이 사용 가능하다.

GP2 EBS Credit/Burst Operation

• 각 EBS 볼륨의 초기 I/O Credit Balance: 540만 IOPS
  -> 3000 IOPS/30 min
• Baseline Performance: 100 IOPS, 3 IOPS/GB
• 사용하지 않는 IOPS는 I/O Credit Balance에 추가
• Volume이 클수록 Credit Balance가 빨리 보충
• GP2 Vloume이 1000GB 이상이면, Burst 없음
• 1 I/O Unit은 16KB

GP3 EBS Baseline Performance

Baseline Performance: 3,000 IOPS, 125 MiB/s Throughput

GP2 대비 약 20% 비용 효율적인 스토리지 타입 GP3이다.
Burst Performance가 아닌 Baseline Performance가 더 좋음. GP2 는 볼륨 사이즈에 따라 128~250MiB/s, GP3는 필요한 만큼 구매해서 사용한다.

EC2 Instance Store (Ephemeral Volumes)

• EC2 인스턴스에 포함되어 무료로 제공됨.

  • SAS, SSD, NVMe 디스크 제공
  • 인스턴스 패밀리에 따라 종류 및 사이즈가 다름

• 로컬 하드웨어에 직접 연결된 디스크

  • Stop/Start로 인해 하드웨어가 바뀌면 사라짐(휘발성)
  • 디스크 오류, 인스턴스 중지, 인스턴스 종료 시 데이터 소실
  • IO의 타입에 따라 다양한 형태로 지원
  • 하드웨어 직접 연결로 비교적 높은 성능 제공

스냅샷이란?

• 스냅샷을 찍는 시점에 대한 복사본
• S3에 저장, EBS API 지원
• 용량 최적화
  • 연속적으로 생성되는 스냅샷의 경우 용량 절감을 위하여 Incremental로 저장
  • 스냅샷 삭제시 해당 스냅샷에만 저장되었던 데이터 삭제

---

🔫 File Storage

Elastic File System (EFS)

• 완전 관리형 네트워크 파일 시스템
  • 하드웨어, 네트워크 및 파일시스템 불필요
  • 수초이내에 확장 가능한 파일 시스템 생성
• 기존 도구 및 어플리케이션과 유연하게 통합
  • NFS v4.1 - 표준 기반
  • 표준 파일 시스템
  • 운영체제의 표준 파일시스템 API 호환
• Elasticity
  • 사용자의 파일 추가, 제거에 따라 자동적으로 확장 또는 축소
  • 스토리지 용량 및 성능을 미리 준비할 필요가 없음
  • 초기 비용 없이 사용한 만큼만 비용 지불
• Scalable
  • 페타바이트 규모까지 파일 시스템 확장 가능
  • 파일시스템의 사용 증가에 따라 자동으로 용량 및 성능이 확장
  • 파일시스템 크기에 관계 없이 일관적인 성능 제공
  • 수천개 이상의 서버에서 동시 접속 지원
• 다양한 워크로드를 위한 성능을 제공
• 고가용성 및 내구성 보장
• On-Premise의 서버에서도 사용 가능
• EFS 아키텍쳐:
  

FSx for Windows File Server (FSx)

• Native Windows 호환성 (Windows file server)
• 완전 관리형 네트워크 파일시스템 (window update & patch)
• SMB Protocol 사용에 따른 다양한 환경 지원
• Microsoft AD를 사용하여 Windows 환경과 통합
• DFS(분산 파일 시스템) 복제본을 통한 다중 AZ 배포 지원
• 초기 비용 없이 사용한 만큼만 비용 지불

---

🐳 Object Storage

Amazon S3 (Simple Storage Service)

• 웹에서 사용 가능한 오브젝트 저장소
• 사용한 만큼만 비용 지불
• 뛰어난 내구성 (99.99999%의 내구성 설계)
• 제약 없는 확장성
• 병렬 처리 지원
• Resource 단위의 IAM 권한
• 버킷(Bucket) 접근 정책 및 ACL
• API를 통한 직접 사용 가능
• Server Side Encryption
• Static Website Hosting
• Query (Amazon Athena) 지원
  • Amazon S3에 저장된 데이터를 표준 SQL을 사용하여 분석 할 수 있게 하는 대화형 Query 서비스

S3 스토리지 종류

➡️ Amazon Standard - IA

• 자주 엑세스 하지 않지만, 필요할 때 빠르게 엑세스 해야하는 데이터
• 높은 보안성과 내구성
• 장기 스토리지, 백업 및 재해 복구용 데이터 스토어에 적합. S3 스탠다드와 동일한 처리 시간 및 성능.
• GB당 $0.018/month의 저장 요금 + 데이터 검색비용이 추가됨(한국)
• S3와 통합된 life cycle 관리 가능
• 128KB의 최소 객체 스토리지 요금/최소 30일의 스토리지 보존 기간의 제약있음.

➡️ Amazon Glacier

• 저렴한 보관용 스토리지
• 높은 보안성과 내구성
• 데이터의 보존 및 백업에 최적화된 스토리지
  • 한시간 이내의 RTO 조건에 적합
  • 스토리지 저장 비용과 검색 비용
• 3가지 검색 옵션: 긴급, 표준, 대향
• GB 당 $0.005/month의 저장 요금 (한국)
• S3와 통합된 life cycle 관리

➡️ Amazon Glacier Deep Archive

• 초 장기간 보관용 스토리지
• 높은 내구성
• 데이터의 보존 및 백업에 최적화된 스토리지
  • 12시간 이상의 RTO 조건에 적합
  • 최소 저장기간 180일
• 2가지 검색 옵션:
  • 표준 12시간
  • 대량 48시간
• GB당 $0.002/month의 저장 요금 (서울리전 기준)

S3 Intelligent-Tiering

자동으로 스토리지의 엑세스 패턴을 분석한다.
자주 접근하는 데이터는 자주 접근 하는데 유리한 스토리지로, 아닌건 덜 접근하는데 유리한 스토리지로 분류해 비용 최적화를 시켜줌.

그 밖에도 LifeCycle Management를 이용해도 룰을 정하고, 그에 따라서 스토리지 클래스를 변경하여 비용 최적화를 할 수 있다.

스토리지 클래스 별 특징 비교

S3 Analytics

스토리지 클래스를 올바르게 사용하고 있는지 시각화해서 분석 가능

S3 Storage Lens

용량 등의 스토리지 관련 정보를 시각화 해서 보고 검색 할 수 있다.

---

🦖 On-Premise 스토리지 연계

Storage Gateway

표준 스토리지 프로토콜을 사용하여 스토리지 서비스를 연계

Storage Gateway 주요 기능

• File Gateway: NFS 기반, Amazon S3로 저장되는 On-Premise NAS 스토리지 서비스
• Volume Gateway: iSCSI 기반, Amazon S3및 EBS Snapshot으로 저장되는 On-Premise Block 스토리지 서비스
• Tape Gateway: iSCSI VTL 기반, Amazon S3 및 Glacier로 저장되는 VTL 스토리지 서비스
• 공통 기능:
  • 표준 스토리지 Protocol 사용
  • 빈번하게 사용되는 데이터를 위한 Local Caching
  • 효율적인 데이터 전송을 위한 버퍼 및 대역폭 관리
  • AWS 기본 스토리지 서비스 활용
  • 표준 AWS 관리기능 및 보안기능에 통합
  • EC2,VMware,Hyper-V 가상 머신

AWS Snow Family

• AWS Snowball
  • 페타바이트 사이즈의 데이터를 옴길 수 있음
  • 8.5g impact case에 담겨옴
  • 비나 먼지로 부터 안전함
  • 데이터 encryption이 잘 되어 보호됨
  • 80TB capacity/10 Gb network
  • 1주일 동안 250TB 옴길 수 있음
• AWS Snowball Edge
  • compute과 storage의 하이브리드에서 쓰임
  • 100-TB의 로컬 스토리지
  • m4.4xlarge와 같은 compute양
  • 가지고 옴겨 다닐 수 있음
• AWS Snowmobile
  • Exabyte 사이즈의 데이터를 옴길 수 있음
  • 100-PB 용량까지 가능
  • 데이터 encryption이 잘 되어 보호됨
  • 보안이 매우 잘되어 있음

Snowball의 속도적 이점

250TB의 데이터 이동을 위하여 5개의 Snowball을 사용하면 1일 이내에 이동 가능(개당 50TB, 10Gbps 전송 x 5)