토픽에 저장된 데이터를 처리해서 다시 토픽에 넣고자 할 때, Kafka Streams라는 라이브러리를 활용하면 된다.
커넥트(Connect)는 데이터 파이프라인을 운영하는 가장 핵심적인 툴 중 하나이다.
소스 커넥터와 싱크 커넥터가 있으며 소스 커넥트는 프로듀서 역할, 싱크 커넥트는 컨슈머 역할을 한다.
소스 커넥터는 특정 DB나 소스 애플리케이션으로부터 데이터를 가져가서 토픽에 데이터를 넣는 역할을 지닌다.
싱크 커넥터는 타겟 애플리케이션으로 데이터를 보내는 역할을 수행한다.
왜 프로듀서나 컨슈머가 아닌 커넥터를 사용하는가?
이는 커넥터를 클러스터로 운영한다는 점이 다르며, 파이프라인을 템플릿 형태로 반복적으로 여러 번 생성할 수 있으며 함께 운영할 수 있다는 차이가 있다.
이는 프로듀서와 컨슈머를 개별로 만들어서 배포하는 것보다 효율적이라 할 수 있다.
조금씩 조금씩 성장하자