오랫만에 궁금했던 Kafka Connect에 대해 읽고 정리해보고자 한다.

Kafka Connect

Kafka Connect는 기존 Kafka를 사용하면서 비지니스 요건에 따라 계속 생기는 Pub/Sub 개발하는데 있어 비용을 줄이고 효과적으로 관리하고자 나왔다고한다.

위 사진 예시처럼 기존에는 하나의 DB에서 가져오는 요건이였다고 했지만,
추가적으로 100개이상으로 늘어났을 경우 그 수만큼 공수가 발생하게된다.
이러한 불편함을 해소하고자 나온게 Kafka Connect라고 한다.

Kafka Connector

카프카 커넥트는 프레임워크이고 커넥터는 커넥트 안에서 동작하는 플러그인이다. 우리가 커넥트 프레임워크를 실행하고 특정 플러그인을 실행시키면 우리가 원하는 행동(수집 및 적재)을 할 수 있다.

• Source Connector - Source System의 데이터를 카프카 토픽으로 Publish 하는 커넥터(Producer)
• Sink Connector - 카프카 토픽의 데이터를 Subscribe해서 Target System에 반영하는 커넥터(Consumer)

첫번째 예시를 들었던 내용을 Kafka Connect를 활용한다면 두번째 예시 사진처럼 해결할 수 있다.

물론 설정파일이 늘어나는 것에 대해서는 어쩔 수 없는 것 같다.

해당 부분에 대해 좀 더 학습 후 추가적으로 정리할 예정.