AWS 기반으로 데이터 분석 플랫폼 인프라 구성 시나리오 (Kafka 사용):
분산 시스템 관리:
선택한 서비스: Apache Kafka
리소스 생성 및 설정:
Amazon EC2 인스턴스를 사용하여 Kafka 브로커 클러스터를 생성.
Amazon EBS를 사용하여 각 브로커의 데이터를 저장.
Zookeeper를 활용하여 Kafka 브로커 클러스터를 관리.
EC2 Auto Scaling을 설정하여 브로커 수를 자동으로 확장하거나 축소.
클러스터의 성능을 Amazon CloudWatch를 통해 모니터링하고 로깅 설정.
실시간 데이터 처리 시스템 구축:
선택한 서비스: Apache Kafka Streams
리소스 생성 및 설정:
Amazon MSK를 사용하여 Kafka 클러스터를 구성하고 관리.
Kinesis Data Streams 대신 Kafka를 사용하여 데이터 스트림을 수집.
Kafka Streams를 활용하여 데이터 스트림을 처리하고 분석.
클러스터의 가용성 및 확장성을 고려하여 MSK 및 Kafka 설정.
보안 및 규정 준수:
선택한 서비스: AWS IAM, AWS KMS
리소스 생성 및 설정:
IAM을 사용하여 사용자 및 역할에 대한 정확한 권한 부여.
데이터 전송 및 저장 중에 Amazon EBS에 대한 암호화 설정.
AWS Key Management Service (KMS)를 사용하여 키 관리 및 암호화 키 로테이션 설정.
AWS CloudTrail 및 AWS Config를 사용하여 감사 로그 수집 및 규정 준수를 충족하는 설정.
자동화 및 스케일링:
선택한 서비스: AWS Auto Scaling, AWS Budgets
리소스 생성 및 설정:
Auto Scaling 그룹을 생성하여 EC2 인스턴스의 자동 확장 및 축소 설정.
Amazon CloudWatch 경보 및 스케일링 정책을 사용하여 트래픽 예측을 기반으로 자동으로 리소스를 조정.
AWS Budgets를 사용하여 비용 모니터링 및 불필요한 리소스 사용을 방지하는 예산과 경고 설정.
