Kinesis Data Analytics과 EMR

한 줄 요약

• Kinesis Data Analytics (KDA) 👉 실시간 스트리밍 데이터를 바로바로 분석
  
• EMR 👉 대용량 데이터를 배치·분산 처리 (빅데이터 플랫폼)
  

---

1️⃣ Kinesis Data Analytics

• 실시간 데이터 스트림 분석
• Kinesis Data Streams / Firehose에서 흘러오는 데이터를 즉시 처리

특징

• 서버 관리 ❌ (완전 관리형)
• SQL 또는 Apache Flink 사용
• 지연 시간: 초~밀리초
• 자동 확장

잘 쓰는 상황

• 실시간 로그 분석
• 클릭 스트림 분석
• 실시간 이상 탐지
• 실시간 지표 집계

예시

“지금 1분 동안 로그인 실패가 100번 넘으면 경고 발생”

---

2️⃣ EMR (Elastic MapReduce)

• 빅데이터 처리 플랫폼
• Hadoop / Spark / Hive / Presto 등 실행

특징

• EC2 기반 (관리 필요 ⭕)
• 대규모 배치 처리에 강함
• 페타바이트급 데이터 처리
• 유연하지만 운영 오버헤드 큼

잘 쓰는 상황

• 하루치 로그를 모아서 분석
• 머신러닝 전처리
• 데이터 웨어하우스 구축
• 대규모 ETL 작업

예시

“어제 하루 동안의 모든 사용자 로그를 분석해서 리포트 생성”

---

📊 핵심 차이 표 (시험용)

구분	Kinesis Data Analytics	EMR
처리 방식	스트리밍 (실시간)	배치 (대규모)
지연 시간	밀리초~초	분~시간
서버 관리	❌ 없음	⭕ 있음
데이터 크기	계속 흘러오는 데이터	아주 큰 데이터 묶음
사용 기술	SQL, Flink	Spark, Hadoop, Hive
운영 난이도	낮음	높음
서버리스	⭕	❌

---

🧠 시험에서 이렇게 판단

문제에 이런 말이 나오면 → Kinesis Data Analytics

• “real-time”
• “streaming data”
• “immediate insights”
• “continuous data”
• “event-driven”

문제에 이런 말이 나오면 → EMR

• “large-scale data processing”
• “batch analytics”
• “big data”
• “Spark / Hadoop”
• “ETL jobs”

---

🎯 시험용 결정 공식

지금 당장 처리 → Kinesis Data Analytics

모아서 크게 처리 → EMR