[TECH UP] AWS Kinesis

Y·2025년 10월 14일

TECH UP

목록 보기

25/39

서비스	역할	현재 명칭
Kinesis Data Streams (KDS)	실시간 데이터 스트리밍 수집 및 처리	동일
Kinesis Data Firehose (KDF)	데이터를 저장소(S3, Redshift 등)로 전송	Amazon Data Firehose
Kinesis Data Analytics (KDA)	실시간 데이터 분석	Amazon Managed Service for Apache Flink
Kinesis Video Streams	실시간 영상 스트리밍 데이터 수집	동일

정의
- 데이터를 실시간으로 저장소나 분석 도구로 전송하는 서비스
- 별도의 서버 구성 없이 데이터를 자동 전송·적재할 수 있음
- SIEM(보안 이벤트 관리) 실습 시 S3 로그 전송용으로 자주 사용
특징
- Serverless 구조로 별도의 인프라 관리가 필요 없음
- 자동으로 데이터 버퍼링, 압축, 암호화, 변환 처리 지원
- 복잡한 설정 없이 빠르게 데이터 파이프라인 구성 가능
작동 구조
1. Input (Logs) – 로그나 이벤트 데이터 수집
2. Transform (Lambda) – 필요 시 변환 처리 수행
3. Destination (S3, Redshift, Splunk 등) – 최종 목적지로 데이터 전송
요금 정책
- 데이터 수집량 기반 과금 (GB 단위)
- 데이터 변환 시 추가 비용 발생 (예: Lambda 변환 사용 시)

정의
- 대량의 데이터를 실시간으로 샤드(Shard) 단위로 처리하는 서비스
- 애플리케이션이 실시간으로 데이터를 읽어 분석 가능
특징
- 사용자가 샤드 수를 직접 조절하여 처리량 관리 가능
- 초당 수천 건의 트랜잭션을 안정적으로 처리
- Amazon Lambda, EC2, Kinesis Analytics 등과 연계 가능
사용 예시
- IoT 기기에서 발생하는 센서 데이터 스트리밍
- 실시간 로그 수집 및 보안 이벤트 탐지
- 사용자 활동 데이터(클릭, 결제, 조회) 실시간 분석

정의
- Kinesis Data Streams 또는 Firehose에서 들어오는 데이터를
  SQL 또는 Apache Flink를 이용해 실시간으로 분석하는 서비스
활용 예
- 실시간 트래픽 모니터링
- 비정상 패턴 탐지 (보안 관제)
- 실시간 매출·로그 통계 대시보드 생성
특징
- 완전 관리형 서비스로 별도의 서버 운영 필요 없음
- Kinesis Stream 데이터를 직접 분석하거나 변환 후 S3로 전달 가능

정의
- 실시간 비디오 데이터를 안전하게 스트리밍하고 저장하는 서비스
- IoT 카메라, CCTV, 방송용 영상 등 실시간 처리에 사용됨
특징
- 데이터는 자동 암호화되어 S3에 저장
- 분석 도구(Amazon Rekognition 등)와 연계해 영상 분석 가능

[Data Source] → [Kinesis Streams] → [Lambda / Analytics] → 
[Firehose] → [S3 / Redshift / Splunk]

구분	설명
서비스 목적	대량의 스트리밍 데이터를 실시간으로 처리 및 전송
핵심 구성 요소	Streams, Firehose, Analytics, Video Streams
핵심 장점	실시간 처리, 자동화, Serverless 구조
대표 사용처	로그 수집, IoT 데이터, 보안 이벤트, 실시간 분석
SIEM 연동	Firehose → S3 → Splunk / Security Hub 등으로 연계