Kafka란?
Kafka는 실시간 스트리밍 데이터를 처리하고 분석하는 데 사용되는 오픈소스 메시징 시스템입니다.
큰 데이터 스트림을 빠르게 처리하고, 분산 시스템에서 사용될 수 있도록 설계되었습니다.
Kafka는 실시간 데이터 분석, 로그 수집, 이벤트 소싱 등 다양한 용도로 사용될 수 있습니다.
MSK란? (Managed Streaming for Apache Kafka)
MSK는 Apache Kafka의 모든 기능을 그대로 제공하면서, AWS의 다른 서비스와의 호환성, 보안, 확장성 등의 장점을 추가로 제공합니다.
이를 통해 사용자는 더 쉽게 대용량의 실시간 데이터를 처리하고 분석할 수 있습니다.
MSK는 AWS에서 제공하는 완전 관리형 실시간 스트리밍 데이터 서비스입니다.
Kafka를 직접 설치, 운영 및 관리하는 것은 복잡하고 시간 소모적일 수 있는데,
MSK는 이런 부분을 AWS가 대신 처리해주므로 사용자는 데이터 스트리밍에만 집중할 수 있습니다.
kafka를 쓰는 이유
일단 Kafak는 오픈소스이기 때문에 무료로 사용할 수 있다.
반면에 aws kafka는 비용을 지불해야하는데다가 가격이 꽤나 사악하다.
또한 모든 매니지드 서비스가 그렇듯 세세한 설정이 불가할 수도 있기 때문이다.
MSK를 쓰는 이유
EC2에 직접 구축하면 시간도 많이 소요되고, 숙련된 엔지니어가 필요하므로 인건비도 고려해야 합니다. 또한 이슈가 발생했을 때 분석에 필요한 시간, 서비스 장애 시 매출 하락 등의 많은 요소도 고려가 필요하다고 생각합니다. MSK를 활용하면 빠르게 클러스터를 구축 할 수 있으며, 확장성(디스크/브로커)이 좋고, 업그레이드도 쉬워서 운영 및 관리가 쉽습니다.
