step function express workflow 상태머신
동기식 실행 - 워크플로 완료 후 api gw 에 응답 제공
동시에 여러개 요청 허용
step function 은 lambda, aws 서비스 결합해
비즈니스 애플리케이션 구축하는 서버리스 서비스
동일한 이름으로 여러서비스 동시실행 지원하지 않음 (비동기식임)
비동기식 실행= api gw에서 요구하는 즉각적인 응답 없음
s3 : 퍼블릭~ 민감한 정보!
aws security hub?
aws 환경 전체 보안 태세 포괄적인 보기 제공
산업표준 및 모범 사례 비교 환경을 확인함
aws 파트너 네트워크 보안 솔루션
소비 집계 구성 등 우성순위 지정
amazon Macie 는 security . hub와 통합됨
macie 역할: security hub 결과 자동 게시
amazon macie 기계학습 패턴일치 사용해서
민감 데이터 검색 데이터보안위험에 가시성 제공 및 위험에 대한 자동화된 보호 가능하게 하는 데이터 보안 서비스
s3 : 데이터 보안상태 관리
amazon macie 콘솔 amcie api 사용해 조사결과 통계 및 기타 데이터 검토 분석
즉 secruity group 에서
Iam Analyzer-cloudtrial 로 외부 액세스 확인
amazon Macie -s3 퍼블릭 객체 확인
두 보안 문제를 한곳에서 모니터링한다.
amazon gurdduity =-s3 aws cloudtrial 이벤트 로그, 그외 특정 aws 로그 확인, 악성 ip 및 도메인을 기계학습해서 악의 활동 식별
운영 오버헤드란?
프로그램 실행흐름중, 프로그램 실행도중 동떨어진 위치의 코드를 실행할 때, 추가적인 대역대, 메모리 , 간접 연산시간등 리소스의 초과
예시: 10초 기능이 간접적인 원인으로 20초 걸리면 오버헤드는 10초 ++!
오버헤드- 많이 쓰임:
교차계정역할, lambda 함수 , cloudwatch 대시보드를 수동으로 생성시
최소한의 오버헤드 -
자동통합시스템! 예시 : SECUIRTY HUB
Iam access amalyzer 는
cloudtrail로그를 분석
외부 액세스 허용/ 거부를 확인함
AWS BATCH
amazon ECS 내의 별도 컨테이너에 작업 실행 = 자동으로리소스 프로비저닝 후 작업완료시 리소스 종료 (병렬적인 계산 실행 및 상호의존성 , 비용 최소화 )
amazon api gw api 제출시
AWS DAuora serverless
- auora 온디멘드 오토스케일링 구성 버전
- 리호스트 : 기존 구성된 환경중 하드웨어 교체 + 소프트 웨어 환경과 라이선스는 재활용
-리플랫폼 : 클라우드에 적합한 소프트웨어로 변경 + 애플리케이션 코드수정 및 사용자 데이터 migration .필수!
refactor: 업무요건 만족을 위한 필요 솔루션 dmbs, middleware에 대해 클라우드 솔루션에서 제공하는 managed service 적극 활용.
PostgresSQl -
- 프라이머리데이터 베이스 서버에서 장애식별해서 스탠바이 데이터배이스 서버에 알리는데 필요한 서비스 소프트웨어없음
amazon rds
- 데이터베이스 손쉽게 설치 운영 크기 조정할수있게해줌
읽기전용 복제본을 두번째 리전으로 장애조치하려면 수동작업필요.
빠르지 않음
privateLink
- .클라이언트 VPC 내에서 탄력적 네트워크 인터페이스를 사용하므로 서비스 공급자와 IP 주소 충돌이 발생하지 않습니다.
엔드포인트
컴퓨터 네트워크에 접속, 정보를 교환하는 물리적인 디바이스.
예시 : 모바일 디바이스, 데스크톱 컴퓨터, 가상머신, 서버! 사물인터넷 디바이스 (스마트~ , 보안시스템, 관제시스템..)도 포함.
Kinesis Data Streams
- cloudwatch 로그 캡처,
- 추가적인 운영오버헤드
흐름 로그 - dynamoDB게시 - lambda 데이터 읽고 - auora테이블 수신.
: 로그를 쿼리할 수있는 상태 전환에 상당한 운영 오버헤드 케이스
Amazon S3에 직접 게시하고 Athena를 사용하여 파일을 쿼리하므로
: 운영 오버헤드를 줄입니다.
apoche spark :
s3 에 직접 게시하는것보다 파일 쿼리 어려움
amazon athena :
외부테이블 생성 후 로그파일 쿼리
amazon quicksight
athe와 연결후 데이터 시각화
Kinesis Data Firehose
- 로그파일 s3 푸시
- 추가적인 운영오버헤드
Timestream
가장 빠르고 정확한 서버리스 시계열 데이터 베이스
시계열 함수 지원 소비자 행동 추세 식별
수백테라바이트 데이터 저장
최근 데이터용 메모리 저장소/ 과거 메데이터용 마그네틱 저장소 통해 데이터 수명 주기 관리 간소화
timesteram 실시간 분석
쿼리 주기적 자동예약
AMAZON DOCUMENTDB
단일수집 시계열 데이터 처리가능
수백테라 바이트 데이터 스토리지 확장불가
파생물 및 상관관계 시계열 함수를 사용해야 하는 추세분석을 직접수행불가
SCP
서비스 제어 정책
조직에서 권한관리시 사용하는 조직정책유형
모든 계정에 대해 사용간으한 최대 권한에 중앙제어 제공
조직의 액세스 제 지침 준수 고날이ㅔ 용이
루트 /마스터 계정의 사용자의 역할에 영향은 미치지 않음
클러스터 배치 그룹
대기시간이 짧다
네트워크 대기시간짧다
고성능 서버, 높은 네트워크 처리량
동일한 (단일의)가용영역내 가깝게 묶음
고성능 컴퓨팅 HPC 애플리케이션에 일반적으로 사용되는 밀접 연결 노드간 통신에 필요한 지연시간이 짧아짐.
Fargate
예약형 인스턴스
일관 장기적으로 실행되는 분석 처리 가장 비용효율적인 선택
스팟인스턴스
언제든지 중지가능
파티션 배치 그룹
하나의 파티션에 있는 인스턴스 그룹 -> 다른 파티션에 있는 인스턴스 그룹과 기본 하드웨어를 공유하지않도록 논리적 파티션에 분산.
대규모 분산 및 복제에서 사용
1) timestream 테이블 > amazon documentDB 수집으로 전송시 오버헤드 생성.
2) 각 기간마다 dynamoDB 생성- 테이블 만들고 적절하게 운영시 오버헤드 생성
EFS
파일전송시스템. eks와 함께씀
스토리지 공유도 가능함.
멀티리전, 다중영역에 적합. 처리속도 빠름.
액세스 키
ec2 자격증명 저장소의 액세스 키는 일반 텍스트로 영구적이다. 다만 임시 자격증명인 iam 역할보다 노출위험이 큼
*자격증명의 교체 = 역할 교체보다 더 어려워서 교체 빈도가 줄어듬
AWS CMK
EBS 암호화시 사용하는 키 중 하나
고객관리형 키로 보안문자열 암호화한다.
kms:Deceypt 작업을 통해 IAM 역할생성 가능.
MIGRATION 서비스 사용시 추가적인 허용을 처리해줌.
AWS SYSTEM MANAGER
필수 AUDIT LOG 제공
PARAMETER STORE
보안들을 재지정.
계층 제공, 접근 권한, 접근 AUDITING등을 제공함.
AWS Snowball Edge
짧은시간 대용량 데이터 마이글레이션에 적합화
Storage Optimized device가 있다. 많을수록 빠르다.
대용량볼륨 데이터 이동시 적합
s3 의 성능 향상
여러 세션과 병렬적인 운영에 적합
LAG ?
AWS DIRECT CONNECTION
타임라인 충족불가
온프레미스 사이트- 네트워크 연결시 몇일~주가 걸림
2Gbps > 100/
AMAZON EFS
필수적인 AUDIT 로그가 제공되지않음
AWS KMS
efs 는 저장시 암호화를 위해 키관리에서 파일시스템 생성시 kms 키 지정함.
각 환경에 대해 cmk 에 대한 kms:Decrypt 작업권한이 있는 iam 역할을 생성할수있다
적절한 iam 역할로 ec2 싲가할수있다.
API KEY
인스턴스 사용자 데이터에 일반텍스트로 표시
액세스 로깅은 없다
AWS SYSTEMAMANGER PARAMETER STORE 보안 문자열을 생성받을 수 있음
ssm: GetPamaremeter 작업권한을 가진 iam 역할생성가능.
DynamoDB
- 파생물, 상관관계 시계열 함수사용시 추세분석 직접수행불가
S3
- VPC 흐름 로그를 Amazon S3에 직접 게시할 수 있습니다.
- 정적 웹사이트 구성할수있으나 파일 수신은 불가
- transfer acceleration 를이용해 버킷간 장거리에서 파일을빠르게 전송할수있는 기능 이있다.
route53
- s3 직접 라우팅하지않음
Local Zone
- 컴퓨팅 스토리지 데이터베이스 및 기타 aws 서비스를 인구가 많은 대규모 산업 센터 근처에 배치하는 인프라 배포 유형입니다.
- 회사, 고객개인이 민감한 정보를 다루어야 할때, 하드웨어와 리소스를 직접 제어할수없음.
aws outposts rack
- 인프라 서비스 api 및 도구를 고객 온프레미스로 확장하는 완전관리형 서비스
- 관리형 인프라에 대한 로컬 액세스 가능
- 고객이 aws 에서 쓰는것도 동일한 인터페이스를 이용해서 온프레미스 애플리케이션 구축, 실행 할수있다.
- 로컬의 compute와 스토리지 리소스를 사용해 대기시간을 줄이고, 데이터 처리 속도를 향상시킴.
-outpost 서버에 S3 버킷은 배포 불가
AWS Wavelength
-
통신사의 5G 네트워크 엣지에 표준 AWS 컴퓨팅 및 스토리지 서버를 배포합니다
-
모바일 디바이스와 최종 유저에게 매우 짧은지연시간 제공.
-5G! -
local에서 hw 컨트롤 못함
-
rack을 사용시 회사가 직접 hw를 컨트롤할수있음.
-
대기시간이 짧은 통신을 위해 s3 & ec2 인스턴스를 배포할수있음
Transfer Acceleration
- 전세계 s3로 전송 속도 최적화
- cloudfront의 분산된 edge 로케이션을 활용함
- 데이터가 엣지 로케이션에 도착시 데이터는 최적화된 네트워크 경로를 통해 s3 라우팅
중복되는 ip 주소가 있을때..?
새고객의 192.168.0.0/cidr 범위를 사용하는 새 vpc(B), subnet을 새고곅계정에서 만든다 . 기존 프로덕션 계정에서 aws privatelink에서 제공하는 vpc 엔드포인트서비스 생성. 새 vpc (B)에서 인터페이스 vpc 엔드포인트 생성. 두 vpc간 리전간 vpc 피어링 연결 은 새로운 고객쪽계정에서 실행함.
연결: 고객 계정 -> 새로운 VPC + 서브넷추가 (192.168.0.0/16 CIDR 블록) - 인터페이스 VPC 엔드포인트 생성
기존계정 -> PRIVATElLINK 에서 VPC 엔드포인트 생성.
고객계정 - > VCP 피어링함.
VPC 피어링, VPN, AWS DIRECT CONNECTION : PRIVATE LINK 엔드포인트에 액세스 가능
VPN
데이터 전송 보호
전송 가속화는 하지않음
amazon auroa global database
- 기존 db 에서 여기로 마이그레이션시 여러 aws 리전에 걸쳐있어서 다른 리전으로 빠른 장애 조치 가능
- 두번째 지역에 세컨더리 db 클러스터 생성 할수있음
VPC 피어링
- 중복 IP 주소범위가 있으면 다른 VPC와 VPC 피어링 연결불가
- CIDR 블록을 추가하면 중복이되기 때문에 피어링 불가
게이트웨이 엔드포인트 - 특정 AWS 서비스용
- 서비스로 라우팅할수있게 ( 예를 들어 INTERNET GW, NAT GW)
- 게이트웨이는 사용자 지정 엔드포인트에 대한 라우팅은 안함
멀티 파트 업로드
대용량 데이터 업로드/ 마이그레이션시
오래걸린다
aws lambda
- 연쇄적으로 부를수있다.
. api gw 코드 워크 플로우 호출시 동일한 실행 이름 재사용 가능. - s3를 호출하기위한 lambda함수 - node,js, python등 언어를 선택해야함
- 서버리스 컴퓨팅 시스템
- 지속시간이 제한되어있으므로(15분) 더 짧게 실행되는 이벤트 워크로드에 적합함
- 장기 실행 프로세스엔 부적합.
aws Detective : 분류, 사고조사, 위협 화인
audit manager : 증거 수집을 자동화함. 감사와 내부통제 법규준수등..
다만 iam identity 외부접근에 대한 보고는 없음
자동화 통합:
OU ( single 조직유닛)
EventBirdge
appstream 2.0 각 사용자 브라우저로 스트리밍 가능
운영측면에서 효율적이진 않ㄴ다
amazon ecs 완전관리형 오케스트레이션
docker, ecs 클러스터 사용시 많은 운영 오버헤드 필요
대신 fargate를 사용하면! - 낮은 워크로드나,
낮은 오버헤드를 위해 최적화해야하는 대규모 워크로드에 적합함.
장기 실행 프로세스 지원하는 컨테이너 관리 서비스 사물 인터넷 기상데이터 및 액세스 패턴은 시계열 데이터베이스 에 적합함
장기 실행프로세스 : iot, 시계열 데이터베이스, 날씨변화등.
timestream : 빠르고, 확장성있음 관계형데이터베이스보다 훨씬 매우 빠름
workspace 는 최소오버헤드
amazon workspace 마이크로 윈도우, linux 나 우분투등 가상 데스크톱 프로비저닝 가능. 하드웨어 구매 필요없고 복잡한 소프트웨어 설치 필요도 없음 신속하게 유저 추가 제거 가능
