Kafka
1.Kafka, Spark 연동
1️⃣ 계획 및 정의 (Plan \\& Scope)( - 목표( - 주요 기술(- 2️⃣ 환경 구성 (Environment Setup)( - 도커 컴포즈( - 자바, 스칼라, SBT, 도커(- 3️⃣ 개발( - Scala 소스( - build.sbt( -
2025년 8월 10일
2.Kafka, Spark Streaming
1️⃣ 계획 및 정의 (Plan \\& Scope)( - 목표( - 주요 기술(- 2️⃣ 환경 구성 (Environment Setup)( - 도커 컴포즈( - 자바, 스칼라, SBT, 도커(- 3️⃣ 개발( - Scala 소스( - build.sbt( -
2025년 8월 10일
3.Kafka, Longhorn replication
카프카 자체가 replication을 하는데, Longhorn도 replication을 하기 때문에 중복 복제가 발생해서 디스크 및 네트워크 비용이 2배 이상 들 수 있다. 고성능이 필요한 카프카는 가능하면 로컬 SSD + 카프카 replication만 쓰는 것이 일반
2025년 8월 11일