Kinesis 란

실시간 스트리밍 데이터를 손쉽게 수집하고 처리하여 분석을 가능하게 하는 서비스이다.
(실시간 데이터: 애플리케이션 로그, 계측, 웹사이트 클릭 스트림, IoT 원격 측정 데이터 등)

Kinesis Data Streams

시스템에서 큰 규모의 데이터 흐름을 다루는 서비스이다.
여러개의 샤드로 구성하여 사용하며 사드의 개수는 사전에 결정할 수 있다.
샤드는 데이터 수집율이나 소비율 측면에서 스트림의 용량을 결정한다.

특징

1. 보존기간: 1 ~ 365일
2. 불변성: 데이터가 Kinesis로 들어오면 삭제 불가능

용량 유형

1. 프로비저닝
   • 프로비저닝 할 샤드 숫자를 정하고 수동 or API로 조정
   • 초당 1MB or 1,000개의 레코드 받고 출력량은 초당 2MB
   • 시간 당 비용 부과
2. 온디맨드
   • 프로비저닝할 필요없고, 용량관리할 필요 없음
   • 초당 4MB or 4,000개 레코드 처리 (지난 30일동안 관측한 최대 처리량 기반 자동요청)

보안

1. IAM으로 샤드 접근권한 제어
2. HTTPS로 전송 중 암호화
3. 클라이언트 측 암호화
4. 모든 API 요청은 Cloudtrail로 감시
5. 엔드포인트 사용가능

Kinesis Data Firehouse

스트리밍 데이터를 안정적으로 캡처하고 전환하여 데이터 레이크, 데이터 스토어, 분석 서비스에 전달하는 ETL 서비스이다.