스토리지 만들기

김성현·2021년 1월 14일

aws공부

목록 보기

2/10

스토리지

컴퓨터에 데이터를 저장하는 저장소의 역할을 수행하는 부품, 하드디스크와 같은 역할
스토리지를 연결하는 방법으로 2가지가 있으며 서버에 직접 연결하는 방식으로는 DAS(Direct Attached Strorage), 네트워크로 연결하는 방식을 NAS(Network Attached Storage)와 SAN(Storage Area Network)가 있다.
NAS 방식은 LAN(Local Area Network)을 연결하여 사용하기 때문에 비용이 저렴하다.
SAN은 확장이 용이하여 대규모 엔터프라이즈 환경을 구성하기 적합한 고속의 전용 네트워크를 구성하여 빠른 속도의 스토리지 서비스를 제공한다.
SAN은 블록, NAS는 파일 단위로 데이터에 접속한다.

데이터 백업(Data Backup)

데이터가 손상되거나 유실되는 것을 대비하여 데이터를 복사해 다른 곳에 저장하는 것
저장 장소는 동일 장비, 다른 장비의 하드디스크, 백업 테이프 또는 장비
데이터 백업이 필요한 순간으로 하드웨어 고장, 하드디스크 손상, Database 및 소프트웨어 손상, OS 자체 문제로 인한 데이터 손상, 운영상의 데이터 유실 및 작업자의 실수, 개발자의 실수 및 쿼리 오류 등등이 있다.

스냅샷(Snapshot)

특정 시간에 데이터 저장 장치의 상태를 별도의 파일이나 이미지로 저장하는 기술

Amazon S3(Simple Storage Services)

확장성이 뛰어나며, 무한대로 저장 가능, 사용한 만큼만 지불하는 인터넷 기반 스토리지 서비스
버킷(Bucket)이라는 리전(Region)내에서 유일한 영역을 생성해 데이터를 키-값 형식의 객체로 저장한다.
파일 단위의 접근만 지원하기 때문에 EBS(Elastic Block Storage)서비스를 대체 못한다.

특징

활용분야	내용
백업 및 복구(Backup & Restore)	뛰어난 내구성과 확장성을 제공하며, 버전 관리 기능을 통한 데이터 보호 기능 제공과 하이브리드(Hybrid) 구성을 통해 기업 내 데이터 백업 및 복원 기능을 제공할 수 있습니다.
데이터 아카이빙(Data Archiving)	고객이 규제 대상 산업(금융 및 의료 등)을 위한 규정 준수, 아카이브 요구사항 또는 아카이브 데이터에 드물지만 빠르게 액세스해야 하는 조직을 위한 활성, 아카이브 요구사항을 충족할 수 있도록 다양한 스토리지 클래스를 제공합니다.
빅데이터 분석을 위한 데이터 레이크(Data Lake)	제약 또는 재무 데이터, 사진과 비디오와 같은 멀티미디어 파일과 같이 어떤 파일을 저장하든 관계없이 Amazon S3을 빅데이터 분석용 데이터 레이크(Data Lake로 사용할 수 있습니다.
하이브리드 클라우드 스토리지	AWS Storage Gateway와 연계하여 On-Premise 환경에서 클라우드 스토리지를 활용할 수 있으며, 데이터 백업 및 재해복구를 원활하게 수행할 수 있습니다.
재해복구(Disaster Recovery)	S3의 내구성 및 안전성이 뛰어난 글로벌 인프라를 활용하여 탁월한 데이터 보호 및 타 리전(Resion)으로 교차 리전 복제(CCR) 서비스를 제공합니다.

클래스

첫째, S3 표준(S3 Standard)이다. 자주 액세스하는 데이터용으로 99.99% 가용성과 99.999999999% 내구성 제공 설계를 지원하며 비용은 EBS 대비 20%까지 저렴하고 SSL 및 데이터 암호화를 지원한다.
둘째, S3 표준-IA(S3 Standard Infrequent Access)이다. 액세스 빈도는 낮으며, 필요 시 빠르게 액세스 해야 하는 데이터를 위한 스토리지 클래스로 S3 Standard와 마찬가지의 내구성과 가용성을 지원하고 가격은 S3 대비 58%저렴해서 백업 서비스에 많이 사용되고 있다.
셋째, S3 One Zone-IA(S3 One Zone Infrequent Access)이다. 액세스 빈도가 낮고, 빠른 액세스가 필요한 데이터를 저장하는 스토리지 클래스다. 최소 3개의 가용영역에 저장하는 S3 스토리지 클래스와 다르게 단일 가용영역에 데이터를 저장하여 S3 Standard-IA 대비 20% 저렴한 비용이다.
넷째, Amzon Glacier이다. 데이터 보관을 위해 안전하고 안정적이며 비용도 저렴한 스토리지 서비스로 S3와 같은 내구성과 성능 및 가용성을 보유하며 S3 표준 대비 최대 77%까지 저렴하다. 데이터 아카이빙 및 장기간 데이터 보관 및 오래된 로그 데이터에 대한 저장 용도로 적절한 서비스이다.

Amzon Glacier

구분	내용
서비스명	Amazon Glacier
설명	데이터 아카이빙(Data Archiving)을 위한 안전하고 안정적인 장기 객체 스토리지
주요 특징	S3와 같은 99.999999999% 내구성, 몇분에서 몇 시간 내 데이터 꺼내기, S3 대비 최대 77% 저렴한 가격, 아카이빙, 장기간 백업 및 오래된 로그 데이터, Secure, Durable, Highly-Scalable

데이터 접근 방법

첫째, API/SDK를 이용한 Direct 연결
둘째, S3 라이프 사이클과의 통합, S3의 라이프 사이클과 통합을 통해 오래된 데이터에 대한 Glacier로 자동 이관한다.
셋째, 3rd Party Tool과 AWS Storage Gateway 연동이다. 기존 Backup 인프라와 3rd Party Tool과의 연계 및 AWS Storage Gateway 통합을 통해 거부감 없는 방식으로 데이터 백업 및 보관 기능을 제공

AMI(Amaznon Machine Image)

EC2 인스턴스 생성에 필요한 모든 소프트웨어 정보를 담고 있는 템플릿 이미지
본인이 원하는 OS와 Application 종류에 따라 AMI 이미지를 선택하면 OS와 Application이 EC2 인스턴스 생성 시 그대로 설치된다.

Amazon Marketplace

AWS에서 실행되는 소프트웨어를 판매 또는 구매할 수 있는 온라인 스토어
35개의 카테고리에 걸쳐 1280개 이상의 소프트웨어 판매업체가 제공하는 4,200개 이상의 소프트웨어를 보유하고 있다.

무한대로 저장 가능한 Amazon S3로 파일 업로드 및 삭제하기

AWS에 로그인 후 [서비스] -> [스토리지] -> [S3]로 이동한다.
[버킷만들기]를 선택한다.
자신이 원하는 이름으로 버킷 이름을 지정하고 리전은 아시아 태평양(서울)으로 설정한다.
모든 퍼블릭 액세스 차단의 체크를 풀어주고 맨 아래에 현재 설정으로 인해 이 버킷과 그 안에 포함된 객체가 퍼블릭 상태가 될 수 있음을 알고 있습니다. 에 체크를 한다. 그 후에 페이지 맨 아래에 버킷 만들기를 누른다.
생성한 버킷의 이름을 클릭하여 이동한다.
[폴더 만들기]를 눌러서 이동하여 폴더 이름을 정하고 아래에 [폴더 만들기]를 눌러 폴더를 생성한다.
생성한 폴더를 클릭하여 들어가서 [업로드]를 눌러 이동해서 [파일 추가] 버튼으로 눌러 아무거나 추가하고 [업로드]한다.
파일이 업로드됨을 확인하고 업로드한 파일을 클릭한다.
객체 URL을 클릭해서 이동한다.
현재 권한이 없어서 에러가 뜬다.
이전 페이지로 이동하여 [객체 작업]을 클릭해서 맨 아래에 [퍼블릭으로 설정]을 누른다. 그 다음 한번 더 [퍼블릭으로 설정]을 누른다.
그러고 나서 아까 링크로 다시 이동한다. 에러가 안 뜸을 확인
파일을 업로드했던 페이지로 돌아와서 업로드한 파일을 선택후 [삭제]를 누른다.
영구 삭제를 입력하고 [객체 삭제]를 누르면 삭제가 된다.

PC의 파일을 Amazon S3로 백업하기

S3에서 아까 만든 버킷에 들어와서 "backup-test"라는 이름으로 폴더를 하나 만든다.
CLI를 이용하기 때문에 서비스에서 [보안, 자격 증명 및 규정 준수]에 [IAM]을 클릭하여 이동한다.
좌측에 [사용자]를 클릭하고 [사용자 추가]를 눌러 이동한다.
사용자 이름에 "AWS_Admin"을 입력하고 액세스 유형은 "프로그래밍 방식 액세스"로 체크하고 [다음: 권한]을 클릭한다.
권한 설정은 [기존 정책 직접 연결]로 하고 정책은 "AdministratorAccess"로 체크하고 [다음: 태그]를 눌러 이동한다. 태그는 넘어간다.
사용자를 생성하기전에 마지막으로 검토하고 [사용자 만들기]를 클릭하여 만들어준다.
접근을 위해서 [.csv 다운로드]를 클릭해 다운받는다.
그 다음 CLI 설치를 위해 https://docs.aws.amazon.com/ko_kr/cli/latest/userguide/install-cliv2.html로 이동해서 [Windows에서 AWS CLI 버전 2 설치, 업데이트 및 제거]링크를 눌러 이동한다.
https://awscli.amazonaws.com/AWSCLIV2.msi 를 클릭하여 설치를 진행한다.
윈도우키 + r 키를 눌러서 cmd창을 띄워준다.
이전에 다운받은 .csv 파일을 열어본다.
aws configure를 입력하고 뜨는 질문들은 방금전에 열어놨던 .csv 파일의 값을 입력하고 region name은 us-east-1, output format은 json으로 입력한다.
aws s3 sync "백업시키는 폴더의 경로" s3://"버킷명/폴더 경로"를 입력한다.
그 후 업로드가 되었는지 확인한다.
백업을 자동화 시키기 위해서 아까의 명령어를 메모장에 입력하고 저장할 때 .bat로 끝나는 파일을 만들어준다.
[제어판]에서 [관리 도구]로 들어가 [작업 스케줄러]로 이동한다.
작업 스케줄러에서 [새 작업 만들기]를 누른 후 이름을 입력하고 보안 옵션으로 [사용자가 로그온할 때만 실행]하고 [가장 높은 수준의 권한으로 실행]을 체크한다.
그 다음 [새 작업 만들기]탭 중에서 [트리거]로 이동하여 [새로 만들기]를 해서 설정은 [매일], 시간은 오전 6:00시 아래에 [사용]을 체크하고 [확인]을 누른다.
그 다음 [동작] 탭에서 [새로 만들기] 누른 후 설정에서 [프로그램/스크립트]에 [찾아보기]를 눌러 아까 메모장에 명령어 넣어서 만든 배치 파일을 넣어주고 [확인]을 누른다.
그 다음 정상 작동하는지 실행 시켜본다.
확인