Amazon MSK

Amazon Managed Streaming for Apache Kafka (MSK)

Amazon MSK란?

실시간 스트리밍 데이터 수집 및 처리를 위해 Apache Kafka를 사용해 애플리케이션을 구축하고 실행할 수 있도록 해주는 완전 관리형 서비스.
클러스터 생성부터 업데이트, 삭제 등에 필요한 제어 영역 작업을 제공한다.

스트리밍 데이터란?

수천 개의 머신, 디바이스, 웹사이트 및 애플리케이션에서 생성되는 작은 레코드나 이벤트의 연속 스트림. 고객이 생성하는 로그 파일, 전자상거래 구매 항목, 소셜 네트워크 정보 등이 이에 해당한다.

Amazon MSK의 기능 및 장점

1. 완전 관리형 서비스 : 서버, 네트워크 설정, Kafka 클러스터 관리 등의 복잡한 인프라 관리가 필요 없습니다.

2. 확장성 : 사용자의 요구에 맞게 쉽게 확장 및 축소할 수 있으며, 대규모 데이터 스트리밍을 처리할 수 있습니다.

3. 고가용성 : 멀티 AZ 배포를 통해 높은 가용성을 제공합니다. 이는 데이터 손실의 위험을 줄여주고 시스템의 안정성을 향상시킵니다.

4. 보안 : AWS의 보안 기능을 통합하여 데이터를 안전하게 보호합니다. 이에는 VPC, AWS KMS, IAM 등이 포함됩니다.

5. 호환성 : Apache Kafka와의 호환성을 제공하여 기존 Kafka 애플리케이션 및 도구와의 연동이 용이합니다.

6. 모니터링 및 로깅 : Amazon CloudWatch를 통한 실시간 모니터링 및 로깅 기능을 제공하여 시스템의 성능과 상태를 지속적으로 감시할 수 있습니다.