kafka

MSK 클러스터를 생성 및 관련 네트워크를 구축클라이언트 생성(EC2) 후, MSK 클러스터를 활용하여 Topic, Producer, Consumer 테스트API Gateway REST Proxy를 활용하여, Proxy URL을 통해 Topic별 메시지 전송 테스트MS

1) private 서브넷 내 인스턴스 구축 후, MSK를 적용2) Topic별 람다 트리거 적용MSK를 생성 전, Kafka 클러스터를 적용할 VPC를 생성합니다.private 서브넷 2개와 public 서브넷 2개를 생성합니다.각 서브넷은 각기 다른 가용영역으로 설

1) Api GateWay를 통해 데이터를 전송2) Api GateWay 통합 요청을 통해, SQS에 데이터 적재3) Producer Lambda SQS 트리거 후, 데이터 MSK에 전달4) Consumer Lambda MSK 트리거 후, kinesis FireHose

참고) https://blog.rockthejvm.com/optimizing-kafka-clients-a-hands-on-guide/1) 메시지는 지정된 Serializer 사용하여 직렬화됩니다.2) 파티셔너는 메시지를 어떤 파티션으로 라우팅해야 하는지 결정합

1. Consumer Flow 1) 폴링(Polling) 컨슈머는 poll() 메서드를 호출하여 Kafka 브로커로부터 메시지를 가져옵니다. 폴링 요청이 브로커에 도달하면, 해당 컨슈머 그룹의 오프셋 커밋 상태와 비교하여 읽을 메시지의 오프셋을 결정합니다. 2)

kafka는 byte 포맷으로 데이터를 전달합니다. 하지만 이러한 데이터를 보내고 받기만 할뿐 해당 데이터가 string인지, integer인지 알지 못하는데 이를 해결하기 위해 Kafka에서 Schema Registry는 데이터의 스키마를 중앙에서 관리하고 버전 관리