AWS Direct Connect

교차 리전 복제 (Cross-Region Replication, CRR)

ECS Fargate

AWS WAF

AWS Shield

Amazon Inspector, GuardDuty

CloudFormation 템플릿

PowerUsers IAM 정책

Amazon Elastic File System (Amazon EFS)

Amazon S3 Glacier

• 용도
  • 저 비용의 장기 아카이브 스토리지 제공
• 적합
  • 규제 준수를 위한 장기 데이터 보관에 이상적
  • 데이터의 이전(전송) 자체를 관리하는 서비스는 아님.

AWS Storage Gateway

• 용도
  • 온프레미스 환경과 AWS 스토리지를 연결하는 하이브리드 클라우드 스토리지 서비스
• 적합
  • 온프레미스는 AWS 로 안전하고 효율적으로 전송할 수 있는 관리형 서비스
  • 대량의 데이터를 장기간 보관하는 경우 적합함.

서브넷?

• 서브 네트워크의 줄임말
• 하나의 큰 네트워크를 더 작은 여러 개의 네트워크로 분할한 것을 말함.
• 서브넷팅(Subnetting) 은 네트워크 관리를 효율적으로 하며, 보안을 강화
  • 네트워크 성능을 향상시키기 위해 사용함.

서브넷 주요 개념

IP 주소

• 192.168.1.1 과 같은 형식
• 네트워크 상에서 장치를 식별하기 위한 고유한 주소

서브넷 마스크

• IP 주소를 네트워크 부분 + 호스트(장치) 부분으로 나누기 위한 비트 패턴
• 255.255.255.0 은 서브넷 마스크로 사용될 수 있음.

네트워크와 호스트 구분

• 서브넷 마스크를 사용하면 IP 주소
  • 네트워크 부분
  • 호스트 부분
• IP 주소 → 192.168.1.10 라면
  • 서브넷 마스크 255.255.255.0 을 사용시
  • 192.168.1 → 이 네트워크 부분
  • 10 → 호스트 부분

예를 들어..

• 192.168.1.0/24 네트워크를 가지고 있는 경우
  • /24 는 서브넷 마스크가 255.255.255.0 이라는 의미
  • 해당 네트워크는 총 256개 의 IP 주소 ( 192.168.1.0 ~ 192.168.1.255 ) 를 가진다.
  • 192.168.1.0 는 네트워크 주소, 192.168.1.255 는 브로드캐스트 주소
    • 실제로 사용할 수 있는 호스트는 254개 ( 192.168.1.1 ~ 192.168.1.254 ) 이다.

서브넷 마스크 CIDR 표기법

• CIDR 표기법은 IP 주소와 서브넷 마스크를 간단하게 표현하는 방법임.
• 192.168.1.0/24
  • 24는
  • 255.255.255.0
    • 255를 이진수로 변환
    • 11111111.11111111.11111111.0 1의 개수 24개개 라서 그럼
  • 255.255.255.128의 경우
    • 11111111.11111111.111111111.10000000의 개수 25개임.

AWS EMR(Elastic MapReduce)

• 대규모 데이터 처리 작업에 최적화된 서비스이다.
• S3 와 같은 데이터 저장소에 저장된 데이터를 효율적으로 처리할 수 있음.
• 해당 문제에서 요구하는 고성능 컴퓨팅을 짧은 시간 동안 사용함.
• 고성능 컴퓨팅을 짧은 시간 동안 사용하고, 분석 작업이 끝난 후 자원을 종료하고 싶은 경우 EMR 를 사용할 수 있음.

Amazon Rekognition

• AWS 의 이미지 및 비디오 분석 서비스이다.
  • 특히 부적절한 콘텐츠를 감지하는 기능을 가지고 있따.
  • Rekognition 의 Moderation API 사용시 자동으로 이미지 분석이 으로 콘텐츠 분석이 가능함
  • 개발 작업을 최소화가 가능하다.

Amazon Comprehend

• 텍스트 분석 서비스

Amazon SageMaker

• 맞춤형 머신러닝 모델 만들 수 있음.
• 부적절한 콘텐츠를 감지시 모델 훈련 및 배포 과정이 필요

AWS Fargate

• 컨테이너를 실행할 수 있는 서버리스 컴퓨팅 엔진임.
• ECS 나 EKS 와 함께 사용이 가능하고, 이를 통해 서버 또는 클러스터 관리치 않고 컨테이너 실행이 가능하도록 함.

AWS SQS 가시성 시간 초과 문제

• SQS 에서 메시지를 가져오는 경우
• 해당 메시지는 가시성 시간 초과 동안 다른 소비자(다른 EC2 인스턴스) 에게는 보이지 않게 된다.
• 해당 가시성 시간 초과 의 경우 메시지를 처리할 시간을 보장하기 위하여 설정된 시간이다.
  • 해당 시간은 메시지가 수신된 경우 아직 삭제되는 않은 상태에서
  • 다른 소비자(다른 인스턴스) 가 볼 수 있게 숨기는 시간이다.
• 해당 시간 내에 메시지가 처리되고 삭제되지 않는 경우, SQS 는 메시지를 다시 다른 소비자에게 제공 하고 다시 처리하도록 한다
• 만약 1번 APP 이 메시지를 처리하고 RDS 에 쓰는 시간이 가시성 시간 초과 보다 길어진다면, 다른 인스턴스에 해당 메시지가 전달되어 중복처리 될 위험이 있다.

AWS SQS 가시성 시간 초과 문제 해결

• changeMessageVisibility API 를 사용하여 가시성 시간 초과를 늘리는 것이 문제 해결에 적합함.
• changeMessageVisibility 조정으로 메시지 중복 가능성을 낮추고, 메시지가 한번만 처리될 수 있도록 가능.

Amazon Athena

• S3 에 저장된 데이터를 직접 SQL 쿼리로 분석할 수 있는 서비스
• S3 에 저장된 JSON 형식의 데이터에 바로 쿼리를 실행할 수 있음.
• 특징
  • 즉시 실행 가능
  • 운영 오버헤드가 적다
  • 기존 아키텍처 통합 용이

Amazon CloudWatch Logs

• 실시간 애플리케이션 로그를 수집 및 모니터링하는 용도로 적합하다
• SQL 쿼리를 통해 대량의 JSON 파일을 분석하는 데 적합하지 않음.

AWS Glue

• ETL(Extract, Transform, Load) 작업을 자동화하는 서버리스 데이터 통합 서비스임.
• Glue 를 사용하는 경우 데이터를 수집하고 변환 → 분석에 필요한 형태로 저장하여 다른 앱에서 사용 가능
• S3, RDS 등의 다양한 데이터 원본에 메타데이터를 자동으로 검색 → Glue 데이터 카탈로그에 저장함.
• 해당 메타데이터는 Athena, RedShift EMR 등에서 재사용 가능

Amazon EMR

• 대규모 데이터를 분산 처리하기 위한 서비스
• Apache Spark, Hadoop 등의 오픈소스 빅데이터 도구를 클라우드에서 사용가능
• 콜드 데이터
  • 저렴한 비용으로 읽기 및 업데이트를 위해 빠르게 엑세스할 수 있는 참조용으로 보관

Amazon FSx for Lustre

• 고성능 파일 시스템을 제공

  • 고속 데이터 처리

  • 병렬 컴퓨팅

    이 필요한 워크로드에 최적화

• lustre (광택, 연마)
  • HPC 커뮤니티에서 널리 사용되는 오픈 소스 병렬 파일 시스템.
• EDA(전자 설계 자동화) 같은 대용량 데이터 처리 어플리케이션에서 데이터를 바르게 읽고 쓰고 처리할 수 있도록 설계된 고성능 파일 스토리지임.

---

• AWS S3 는 한번 버전 관리를 활성화하면 일시 중단은 가능하지만, 비활성화할 수 있음.
• 다중 파트 업로드
  • 파일을 여러 부분으로 나누어 동시 업로드 가능
  • 업로드 속도를 개선할 수 있다.
  • 대용량 파일 전송을 효율적으로 만든다.
  • 비용 없이 사용할 수 있는 기능 이다.

Amazon S3 전송 가속 ( Amazon S3 Transfer Acceleration )

• Amazon CloudFront 의 엣지 로케이션을 사용하여
• 전세계 어디서나 S3 버킷으로 전송 속도를 증대
• 해외 지사에서 S3 버킷에 대용량 파일 빠르게 업로드 가능
• 비용이 발생하긴하나
  • AWS 글로벌 엑셀러레이터, Direct Connect 같은 전용 회선이 구축되어야 하는 옵션보다 경제적임

AWS 글로벌 액셀러레이터

• 비용이 높음
• 어플리케이션 성능 개선용으로 사용
• S3 업로드 속도 개선에는 비효율적

Amazon Gateway Endpoint

• VPC(Virtual Private Cloud) 내에서 AWS 서비스로 안전하게 연결하기 위한 가상 엔드포인트
• VPC 내의 리소스가 인터넷을 거치지 않고 AWS 서비스(S3, Dynamo DB) 등과 통신 가능
• EX
  • VPC 내의 EC2 인스턴스가 S3 에 접근하는 경우 Gateway Endpoint 를 사용하는 경우 NAT 게이트웨어나 인터넷을 거치지 않고 직접 접근이 가능하다.

Amazon API Gateway

• API 를 생성, 배포 및 관리 할 수 있도록 도와주는 서비스
• RESTful API, WebSocket API, HTTP API 등을 쉽게 생성 가능.
• 스로틀링 기능

AWS 자동 확장 그룹(오토 스케일링 그룹)

• 스케일링 정책 을 통하여
  • 인스턴스를 동적으로 확장하거나 축소가 가능하다.

1. 목표 추적 스케일링(Target Tracking Scaling)

• 특정 메트릭의 목표 값을 설정
• 설정한 값에 맞추어 인스턴스 수를 자동으로 조정
• CPU 사용률을 50 으로 설정시, 시스템이 해당 값에 도달할 수 있도록 자동으로 인스턴스를 추가하거나 제거함

2. 단계적 스케일링 정책(Step Scaling)

• 다양한 임계값에 따라 다른 단계의 조치 설정가능
• CPU 사용률이 70% 가 넘는 경우 2개의 인스턴스를 추가함.
• 90% 를 넘는 경우 3개의 인스턴스를 추가하는 식으로 여러 단계 설정 가능

3. 간단한 스케일링 정책(Simple Scaling)

• 특정 임계값에 도달하는 경우 단일 조치를 실행
• CPU 사용률 75퍼 초과하는 인스턴스 1개 추가, 25퍼 이하 떨어지는 경우 인스턴스를 1개 제거하도록 설정

4. 예측적 스케일링(Predictive Scaling)

• 머신러닝을 사용해 트래픽의 패턴 분석
• 향후 수요를 예측하여 미리 스케일링할 수 있도록 도와주는 정책임.
• 주로 일정한 패턴이 있는 트래픽에서 효과적임.

Aws S3 스토리지 클래스 전환 관련