안녕하세요 levin 입니다. AWS study 세 번째 시간입니다.
AWS 스토리지 관련 내용입니다.
[S3 서비스 아키텍처]
Amazon S3는 업계 최고의 확장성, 데이터 가용성, 보안 및 성능을 제공하는 객체 스토리지 서비스이다. 모든 규모와 업종의 고객은 Amazon S3를 사용하여 데이터 레이크, 웹 사이트, 모바일 애플리케이션, 백업 및 복원, 아카이브, 엔터프라이즈 애플리케이션, IoT 디바이스, 빅 데이터 분석 등 다양한 사용 사례에서 원하는 양의 데이터를 저장하고 보호할 수 있다. Amazon S3 는 특정 비즈니스, 조직 및 규정 준수 요구 사항에 맞게 데이터에 대해 액세스를 최적화, 구조화 및 구성할 수 있는 관리 기능을 제공한다.
- S3 Standard : 자주 액세스 하기 위해 미션 크리티컬 프로덕션 데이터 저장
- S3 Standard-IA or S3 One Zone-IA : 액세스 빈도가 낮은 데이터 저장 (비용 절감)
- S3 Glacier Flexible Retrieval 및 S3 Glacier Deep Archive : 가장 낮은 비용으로 데이터 저장
- S3 Intelligent-Tiering : 액세스 패턴이 변경되거나 알 수 없는 액세스 패턴이 있는 데이터 저장
[S3 작동 방식]
- 버킷 : Amazon S3 에 저장된 객체에 대한 컨테이너. 버킷에 저장할 수 있는 객체 수에는 제한이 없다. 또한 계정에 버킷을 최대 100개까지 포함할 수 있다. 모든 객체는 버킷에 포함된다. 버킷을 생성한 후에는 버킷 이름 또는 해당 리전을 변경할 수 없다.
- 객체 : Amazon S3에 저장되는 기본 개체. 객체는 객체 데이터와 메타데이터로 구성된다. 메타데이터는 객체를 설명하는 이름-값 페어의 집합이고 마지막으로 수정한 날짜와 같은 몇 가지 기본 메타데이터 및 Content-Type 같은 표준 HTTP 메타데이터가 포함된다고 한다. 키(이름) 및 버전ID를 통해 버킷 내에서 교유하게 식별된다고 한다.
- 키 : 객체 키 는 버킷 내 객체에 대한 고유한 식별자이다. 버킷 내 모든 객체는 정확히 하나의 키를 갖는다. 버킷, 객체 키 및 선택적으로 버전 ID(버킷에 대해 S3 버전 관리가 사용 설정된 경우)의 조합은 각 개체를 교유하게 식별합니다. 따라서 Amazon S3 를 ‘버킷+키+버전’과 객체 자체 사이의 기본 데이터 맵으로 생각할 수 있다.
- S3 버전 관리 : 동일 버킷 내에 여러 개의 객체 변형을 보유할 수 있다. S3 버전 관리를 사용하여 저장된 모든 버전의 모든 객체를 보존, 검색 및 복원할 수 있고 의도치 않은 사용자 작업 및 애플리케이션 장애로부터 쉽게 복구할 수 있다.
- 버전 ID : 위 설명의 S3 버전 관리를 사용 설정하면 버킷에 추가되는 각 개체에 고유한 버전ID를 생성한다. 버전 관리르 사용 설정할 때 버킷에 이미 존재하는 객체에는 null 의 버전 ID 가 있다. 객체를 CopyObject 및 PutObject 와 같은 기타 작업으로 수정하는 경우 새 객체가 고유한 버전 ID를 가진다.
- 버킷 정책 : 버킷의 객체에 엑세스 권한을 부여할 수 있는 리소스 기반 AWS Identity and Access Management 정책이다. 버킷 소유자만 정책을 버킷에 연결할 수 있고 연결된 권한은 버킷 소유자가 모든 버킷의 객체에 적용된다. 20KB로 크기가 제한된다.
- S3 액세스 포인트 : 엔드포인트를 사용하여 데이터에 액세스하는 방법을 설명하는 전용 액세스 정책이 포함된 명명된 네트워크 엔드포인트이다. 액세스 포인트는 GetObject 및 PutObject 같은 S3 객체 작업을 수행하는 데 사용할 수 있는 버킷에 연결된다. 액세스 포인트는 Amazon S3의 공유 데이터 집합에 대한 대규모 데이터 액세스 관리를 간소화 한다.
- 액세스 제어 목록 : 액세스 제어 목록(ACL) 을 사용하여 권한이 부여된 사용자에게 개별 버킷 및 객체에 대한 읽기 및 쓰기 권한을 부여한다. 각 버킷과 객체마다 하위 리소스로서 연결되어 있는 ACL이 있다. ACL은 액세스를 허용할 AWS 계정 또는 그룹과 액세스 유형을 정의하고, IAM 보다 먼저 적용되는 액세스 제어 메커니즘이다.
- 리전 : Amazon S3에서 사용자가 만드는 버킷을 저장할 지리적 AWS 리전을 선택할 수 있다. 지연 시간 최적화, 비용 최소화, 규정 요구 사항 준수 등 다양한 필요에 따라 리전을 선택할 수 있다. AWS 리전에 저장된 객체는 사용자가 명시적으로 객체를 다른 리전으로 전송하거나 복제하지 않는 한 해당 리전을 벗어나지 않는다.
[S3 내구성 및 가용성]
Amazon S3에서는 미션 크리티컬 및 기본 데이터 스토리지에 적합하게 설계된, 내구성이 뛰어난 스토리지 인프라를 제공한다. S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval 및 S3 Glacier Deep Archive는 AWS 리전의 최소 3개 가용 영역에 걸쳐 여러 디바이스에 객체를 중복 저장한다. S3 One Zone-IA 스토리지 클래스는 단일 가용 영역 내의 여러 디바이스에 걸쳐 데이터를 중복으로 저장한다. 이러한 서비스는 손실된 중복성을 신속하게 탐지하고 복구하여 동시 장치 오류를 처리하도록 설계되었으며 또한 체크섬을 사용하여 데이터 무결성을 정기적으로 확인한다.
- Amazon S3 서비스 수준 계약으로 신뢰성을 보장
- 지정된 기간 동안 객체에 대해 99.999999999%의 내구성과 99.99%의 가용성을 제공할 수 있도록 설계
- S3 Standard, S3 Intelligent-Tiering, S3 Standard-IA, S3 Glacier Instant Retrieval, S3 Glacier Flexible Retrieval 및 S3 Glacier Deep Archive는 모두 전체 Amazon S3 가용 영역이 손실된 경우 데이터를 유지하도록 설계
[S3 객체 수명 주기]
Amazon S3 에는 비용 관리, 규정 요구 사항 충족, 대기 시간 단축, 규정 준수 요구 사항에 맞게 여러 개의 개별 데이터 복제본 저장을 수행할 수 있는 스토리지 관리 기능이 포함되어 있다.
- 수명 주기 : 수명 주기 정책을 구성하여 객체를 관리하고 수명 주기 동안 객체를 비용 효율적으로 저장할 수 있다. 객체를 다른 S3 스토리지 클래스로 전환하거나 수명이 다한 객체를 만료시킬 수 있다.
- 객체 잠금 : 고정된 시간 동안 또는 무기한으로 Amazon S3 객체의 삭제 또는 덮어쓰기를 방지할 수 있다. 객체 잠금을 사용하면 WORM(write-once-read-many) 스토리지가 필요한 규제 요구 사항을 충족하거나 객체 변경 및 삭제에 대한 보호 계층을 추가하는 데 도움이 된다.
- 복제 : 대기 시간 단축, 규정 준수, 보안 및 기타 사용 사례를 위해 객체, 객체의 각 메타데이터, 객체 태그를 동일하거나 다른 AWS 리전에 있는 하나 이상의 버킷에 복제한다.
- 배치 작업 : Amazon S3 콘솔에서 단일 S3 API 요청이나 몇 번의 클릭만으로 수십억 개의 객체를 대규모로 관리할 수 있다. 배치 작업을 사용하여 수백만 또는 수십억 개의 객체에 대해 복사, AWS Lambda 함수 호출 및 복원 등의 작업을 수행할 수 있다.
[Amazon S3 Glacier]
이 스토리지 클래스는 데이터 아카이빙을 위해 특별히 제작되어 클라우드에서 최고의 성능, 최고의 검색 유연성, 최저 비용의 아카이브 스토리지를 제공하다. 모든 S3 Glacier 스토리지 클래스는 사실상 무제한 확장성을 제공하며 위 내용 중 ‘내구성’에서 언급된 99.999999999%의 데이터 내구성을 제공하는 주인공이기도 하다. 또한 아카이브 데이터에 가장 빠르게 액세스할 수 있는 옵션과 클라우드에서 가장 저렴한 아카이브 스토리지를 제공한다. 이 스토리지 클래스에서도 클래스가 나뉜다.(클래스 in 클래스)
- S3 Glacier Instant Retrieval : 즉각적인 액세스가 필요한 아카이브 데이터의 경우. 밀리초 단위의 검색 시간에서 가장 저렴한 비용의 스토리지 제공
- S3 Glacier Flexible Retrieval : 즉각적인 액세스가 필요하지 않지만 비용 없이 큰 데이터 집합을 검색하는 유연성이 필요한 아카이브 데이터의 경우. 5~12 시간의 무료 대량 검색 또는 몇 분 내 검색을 지원
- S3 Glacier Deep Archive : 12시간 이내의 데이터 검색 시간을 지원하며 클라우드에서 가장 저렴한 스토리지 비용 제공
이상입니다. :)
