Kinesis

• 실시간 스트리밍 데이터를 수집, 처리, 분석을 쉽게 해줌
  • 실시간 데이터의 예) 애플리케이션 로그, 메트릭, 웹사이트 클릭스트림, IoT 텔레메트리 데이터 ...

Kinesis Data Streams

• 데이터 스트림을 캡처, 처리, 저장
• 1 ~ 365일까지 보존
• 한 번 데이터가 Kinesis에 들어가면 삭제 ❌
• Producer(생산자) : AWS SDK, Kinesis Producer Library(KPL), Kinesis Agent
• Consumer(소비자)
  • : Kinesis Client Library(KCL), AWS SDK
  • 관리형 : AWS Lambda, Data Firehose, Kinesis Data Analytics

Capacity Mode

• Provisioned Mode
• On-Demand Mode

보안

Kinesis Data Firehose

• 데이터 스트림 -> AWS 데이터 저장소로 로드
• 완전 관리형
• 자동 스케일링, 서버리스
• Firehose를 통과하는 데이터에 대해서만 $ 지불
• 거의 실시간 (bc. 일괄(batch) 작성)
  • 버퍼 간격(interval) : 0초 / 비활성화 ~ 900초
  • 버퍼링 ⭕ -> 버퍼 크기 지정: <= 1MB
• 여러 데이터 형식, 전환, 변환, 압축 ⭕
• AWS Lambda -> 자체적 데이터 변환 지원
• S3 버킷으로 모든 데이터 / 실패한 데이터 백업 ⭕
  

Kinesis Data Streams vs Firehose

Kinesis Data Analytics

• 데이터 스트림을 SQL, Apache Flink로 분석
• 지속적인 쿼리

Kinesis Video Streams

• 비디오 스트림을 캡처, 처리, 저장