비교항목	Apache kafka	Redis(pub/Sub 또는 streams
핵심 컨셉	로그 파일 저장소(대용량 디스크 기반)	인메모리 캐시(초고속 RAM기반)
데이터 보존	반영구적(설정 기간 동안 디스크에 보관)	휘발성(전원 꺼지면 날아감, 설정 필요)
처리방식	pull방식(logtash가 "주세요" 하고 가져감)	Push방식 (Redis가 "받아라" 하고 던짐)
소비자 분리	완벽함(DB작업이 멈춰도 ELK 작업도 영향 없음)	불안함 (Pub/Sub은 받는 놈 없으면 데이터 증발)
구축 난이도	높은(Zookeeper등 설치 복잡)	낮음 (설치 매우 쉬움)
주 사용처	대규모 로그 수집, 이벤트 스트리밍	실시간 채팅, 캐시, 단순, 큐

logtash

참고문헌