Amazon Kinesis Data Streams는 대규모 실시간 데이터 스트림을 실시간으로 수집, 처리 및 분석할 수 있는 완전관리형의 서비스입니다. Kinesis Data Streams를 사용하면 수백만 개의 이벤트를 초당으로 스트리밍하고, 이 데이터를 실시간으로 처리하여 저장하거나 분석할 수 있습니다.
Amazon Kinesis Data Streams의 주요 특징과 구성 요소는 다음과 같습니다:
-
스트림 생성: Kinesis Data Streams를 사용하려면 스트림을 생성해야 합니다. 스트림은 데이터를 수집하고 저장하는 데 사용되는 기본 단위입니다.
-
샤드: 스트림은 여러 개의 샤드로 나뉩니다. 샤드는 데이터의 파티셔닝 단위이며, 각 샤드는 특정 시간 범위의 데이터를 보유합니다. 샤드 수는 데이터 처리량과 관련이 있습니다.
-
프로듀서: 데이터를 Kinesis 스트림으로 보내는 역할을 하는 애플리케이션 또는 장치를 프로듀서라고 합니다. 프로듀서는 Kinesis Data Streams API를 사용하여 데이터를 스트림으로 전송합니다.
-
컨슈머: 스트림에서 데이터를 읽고 처리하는 애플리케이션을 컨슈머라고 합니다. 컨슈머는 Kinesis Data Streams API를 사용하여 데이터를 읽습니다.
-
데이터 보관 기간 설정: 스트림에서 데이터의 보관 기간을 설정할 수 있습니다. 설정된 기간 동안의 데이터만 스트림에 유지되며, 이후에는 자동으로 삭제됩니다.
-
데이터 보안: Kinesis Data Streams는 데이터 전송 중에 SSL을 사용하고, 데이터를 저장 및 검색할 때 데이터 암호화를 지원하여 데이터 보안을 강화합니다.
-
자동 확장: 데이터 처리량이 늘어날 경우 Kinesis Data Streams는 자동으로 샤드 수를 조절하여 처리량을 확장합니다.
-
모니터링 및 경고: CloudWatch Metrics를 통해 Kinesis 스트림의 상태를 모니터링하고, CloudWatch 알람을 설정하여 이벤트 기반으로 경고를 받을 수 있습니다.
