Debezium을 활용한 CDC Pipeline 구축기

CDC(Change Data Capture)란 무엇인가? CDC는 Change Data Capture의 약자로, 데이터베이스에서 발생하는 변경 사항(삽입, 수정, 삭제 등)을 실시간으로 캡처하여 이벤트 형태로 다른 시스템에 전달하는 기술이다. CDC는 마이크로서비

이번 포스트에서는 Debezium과 Kafka, 그리고 Docker Compose를 활용해 두 개의 MySQL 데이터베이스를 (CDC: Change Data Capture)를 통해 실시간으로 동기화 하려고 한다. CDC와 Debezium에 대한 설명은 이전 포스트를

이번 포스트에서는 Debezium과 Kafka, 그리고 Docker Compose를 활용해 MySQL과 MongoDB, 그리고 Elasticsearch 간의 데이터 동기화를 (CDC: Change Data Capture)를 통해 구현해본다.CDC와 Debezium의 개