AWS 기반 Data Lake

• 기존의 데이터 사일로(데이터가 일치하지 않는 문제) 및 데이터 웨어하우스가 수행할 수 없는 방식 때문에, 보다 더 민첩하고 유연성 있는 Data Lake 선호
• 모든 유형의 데이터를 안전하게 저장
• Amazon S3, Amazon Glacier 를 사용하여 데이터를 저장
• AWS Glue 는 쿼리를 사용할 수 있도록 도와줌

Amazon S3

• 어디서나 모든 유형의 데이터를 저장하고 검색 가능
• 탁월한 가용성
• 데이터 읽기 및 검색의 줒엄을 둠으로써 응답 시간을 최대 400% 까지 단축 가능

Amazon Glacier

• 백업을 위해 내구성 있고 안전한 저렴한 스토리지
• Data Lake 기반(Raw data)
• 검색 시간 굉장히 단축 가능
• On Premise 대비 비용 절감 가능

AWS Glue

• 데이터 레이크 내 검색 가능한 데이터 카탈로그 제공 (ETL : 데이터 추출, 변환 및 로드)

Amazon Athena

• SQL쿼리 사용 가능 (with S3, Glacier)
• 대화식 분석
• 서버리스, 설정 및 관리 필요 x
• 실행한 비용만 지불

Amazon CloudSearch

• 관리형 서비스

Amazon EMR

• 하둡 프레임워크
• 빅 데이터 처리
• 대량의 데이터를 쉽고 빠르게
• Data Engineering
• EMR Notebooks, Hadoop, Spark, 19가지 오픈소스 프로젝트 지원

Amazon Elasticsearch Service

• 애플리케이션 모니터링, 로그 분석
• 실시간으로 데이터 검색, 탐색, 필터링, 집계 및 시각화
• 가용성, 확장성, 보안성 제공
• Amazon Kinesis를 사용하면, 실시간으로 애플리케이션 로그 및 스트리밍 데이터를 간편하게 수집, 처리 및 분석

Amazon Managed Streaming for Amache Kafka

• 스트리밍 데이터를 처리하는 간소화된 서비스
• 기계 학습 및 효과 강화
• MSK 를 사용해야 편리하게 구축 및 실행 가능
• 인프라 관리 시간을 줄여줌

Amazon Redshift

• 데이터 웨어하우징
• 페타바이트의 정형 데이터에 관해서
• 직접 SQL 쿼리 사용 가능

Amazon QuickSight

• 시각화 및 대시보드 형태

AWS Data Pipeline

• 데이터를 안정적으로 처리하고 지정된 간격으로 이동
• 대규모로 데이터 변환
• S3, RDS, DynamoDB 등으로 데이터를 안정적으로 이동
• 가용성이 넓으며 복잡한 데이터 처리 워크로드 생성
• 사일로에 묶여있던 데이터를 이동하고 처리할 수 있음

AWS Lake Formation

• 안전한 데이터 레이크 구축
• 기계 학습 알고리즘을 사용