카프카

지난 시간과 다르게 좀더 새부적인 내용을 알아보자 카프카는 Kafka Cluster안에 Broker가 여러개 존재한다고 생각하면된다. 이는 데이터 유실방지 때문인데 Broker가 하나의 카프카 서버인데 이를 여러개 띄워 서로의 복사본을 가지고 있는 하나의 Kafka

먼저 Kafka는 Producer와 Consumer를 통해 데이터 파이프라인을 만들 수 있다. 예를 들어 A서버의 DB에 저장한 데이터를 Kafka Producer/Consumer를 통해 B서버의 DB로도 보낼 수 있다. 이러한 파이프라인이 여러개면 매번 반복적으로 파

기존 데이터 시스템의 구조는 각 애플리케이션과 데이터베이스가 end-to-end로 직접 연결되어 있었습니다. 이러한 구조는 간단하지만 각각의 데이터 파이프라인이 분리되어 있어, 요구사항이 증가함에 따라 시스템의 복잡도를 높이는 결과를 가져왔고, 크게 아래와 같은 문제점