Kinesis Architecture

스트리밍 데이터(Streaming Data)

1)수많은 데이터 소스가 작은 크기(kb)의 데이터를 끊임없이 생산하며, 동시에 전달하는 동작(e.g)
2)실시간으로 업데이트(refresh)가 되어야 하는 주식 및 코인 정보
3)데이터 변화가 실시간으로 발생하는 온라인 게임속의 캐릭터(유저, 플레이어)
4)지속적으로 업데이트되는 소셜 네트워크 데이터
5)우버,그랩과 같은 애플리케이션에서 지역 정보를 끊임없이 생성 및 소비
6)IoT 텔레메트리 데이터와 같은 실시간 데이터를 수집

AWS Kinesis 스트리밍 도구

Kinesis Video Streams
1)머신 러닝, 재생 및 기타 처리를 위해 커넥티드 디바이스에서 AWS로 비디오를 쉽고 안전하게 스트리밍
2)수백만 개의 디바이스에서 비디오를 스트리밍
3)실시간 비전 및 비디오 지원 앱 구축
4)라이브 및 녹화된 비디오 스트림 재생
5)양방향 실시간 미디어 스트리밍으로 앱 구축

Kinesis Data Streams(KDS)
1)KDS는 웹 사이트 클릭스트림, 데이터베이스 이벤트 스트림, 금융 트랜잭션, 소셜 미디어 피드, IT 로그 및 위치 추적 이벤트와 같은 수십만 개의 소스에서 초당 기가바이트 규모의 데이터를 지속적으로 캡처 가능
2)수집된 데이터는 실시간 대시보드, 실시간 이상 항목 탐지, 동적 요금 등과 같은 실시간 분석 사용 사례를 지원할 수 있도록 수 밀리초 만에 제공 가능

Kinesis Data Firehose
1)높은 사용 편의성을 바탕으로, 스트리밍 데이터를 데이터 레이크, 데이터 스토어 및 분석 도구에 가장 쉽고 안정적으로 로드하는 방법으로 쓰임
2)스트리밍 데이터를 캡처, 변환 후 S3, Redshift, Elasticsearch Service 및 Slunk로 로드
3)기존 비즈니스 인텔리전스 도구 및 대시보드를 통해 거의 실시간으로 분석
4)Data Streams와의 차이로는 벌크 상태가 아닌, 정제된 데이터만을 분석 도구에 전달함

Kinesis Data Analytics
1)Apache Flink를 통해 실시간으로 스트리밍 데이터를 변환 및 분석할 수 있는 가장 쉬운 방법
2)수신 데이터의 볼륨과 처리량에 맞춰 자동으로 확장
3)서버리스 서비스이므로, 관리할 서버가 없음
4)SQL, Java, Scala 및 Python에서 애플리케이션 구축을 지원