Redis Stream vs Kafka

daev681·2025년 2월 10일

Redis Stream vs Kafka 비교 및 정리

메시지 스트리밍 시스템을 구축할 때 Redis Stream과 Kafka는 대표적인 선택지입니다.
두 기술은 비슷한 개념을 가지고 있지만, 내부 동작 방식과 최적화된 사용 사례에서 차이가 있습니다.
이 문서에서는 Redis Stream과 Kafka의 차이점과 장단점을 비교하여 어떤 상황에서 적합한지 정리합니다.

1. Redis Stream vs Kafka 개요

Redis Stream이란?

Redis 5.0부터 도입된 스트리밍 데이터 구조.
XADD, XREAD, XREADGROUP 등의 명령어를 통해 메시지 생산 및 소비.
Consumer Group을 지원하여 여러 개의 소비자가 메시지를 분산 처리 가능.
기본적으로 메모리 기반 저장, 오래된 데이터는 자동 삭제 가능.
낮은 지연 시간으로 빠른 메시지 처리가 가능.

Kafka란?

LinkedIn에서 개발한 분산 스트리밍 플랫폼.
프로듀서(Producer) → 브로커(Broker) → 컨슈머(Consumer) 구조.
메시지는 디스크에 저장되며, 장기 보관 및 오프셋 기반 조회 가능.
수평 확장이 가능하여 대규모 이벤트 스트리밍에 적합.
고가용성과 데이터 복구 기능이 강력함.

2. Redis Stream vs Kafka 비교

특징	Redis Stream	Kafka
메시지 저장 방식	메모리 기반 (TTL 적용 가능)	디스크 기반 (장기 보관 가능)
메시지 순서 보장	✅ ID 기반 정렬	✅ 파티션 내에서 보장
컨슈머 그룹 지원	✅ XGROUP, XREADGROUP 사용	✅ 기본적으로 지원
메시지 삭제 방식	✅ `MAXLEN` 설정으로 자동 삭제	❌ 직접 삭제 불가 (보관 기간 설정 가능)
확장성	⚠️ 수직 확장 (Redis 클러스터 필요)	✅ 수평 확장 (파티션 기반)
데이터 영속성	❌ 기본적으로 휘발성	✅ 디스크 기반 영속 저장
지연 시간	✅ 매우 낮음 (밀리초 단위)	⚠️ 상대적으로 높음 (디스크 I/O 영향)
복제 기능	✅ Redis Replication 사용 가능	✅ 기본적으로 다중 복제 지원
트랜잭션 지원	⚠️ 약함 (AOF 스냅샷 필요)	✅ 강력한 트랜잭션 보장
주요 사용 사례	실시간 데이터 처리, 웹소켓 메시징, 캐싱	대규모 이벤트 스트리밍, 로그 분석, 데이터 파이프라인

3. Redis Stream vs Kafka 사용 사례

Redis Stream이 적합한 경우

실시간 메시지 처리 (낮은 지연 시간이 중요할 때)
웹소켓 서버와 결합하여 클라이언트에 빠른 데이터 전송
Pub/Sub 시스템을 대체하는 간단한 메시징 솔루션
짧은 기간 동안만 데이터를 유지하는 서비스
빠른 데이터 삭제가 필요한 경우 (MAXLEN 활용)

예시: 실시간 알림 시스템, 채팅 서비스, 게임 이벤트 처리

Kafka가 적합한 경우

대규모 이벤트 로그 처리
데이터 영속성이 필요할 때 (장기간 보관)
수많은 컨슈머가 동일한 데이터를 읽어야 할 때
분산 시스템에서 수평 확장이 필요할 때
데이터 스트리밍 파이프라인을 구축할 때

예시: 로그 분석, 빅데이터 파이프라인, 금융 거래 기록, 모니터링 시스템

4. Redis Stream과 Kafka의 주요 차이점 정리

Kafka는 데이터가 디스크에 저장되며, Redis Stream은 기본적으로 메모리에 저장됨.
Kafka는 메시지를 오래 보관할 수 있고, Redis Stream은 일정 개수 이상이면 자동 삭제됨.
Kafka는 대규모 데이터 처리를 위한 수평 확장이 가능하지만, Redis는 수직 확장이 필요함.
Redis Stream은 빠른 실시간 처리에 유리하지만, Kafka는 대량 데이터 보관 및 분석에 강력함.

5. Redis Stream vs Kafka, 언제 선택할까?

요구사항	추천 솔루션
초저지연 실시간 처리	✅ Redis Stream
웹소켓과 연계한 실시간 메시징	✅ Redis Stream
단기 보관 & 빠른 데이터 삭제	✅ Redis Stream
대규모 로그 수집 및 분석	✅ Kafka
데이터 영속성 및 장기간 보관	✅ Kafka
분산 시스템 확장 (수평 확장)	✅ Kafka