kafka

1.Streaming data with Debezium, DBMS and Kafka

post-thumbnail

kafka connector를 통해서 두 개의 DB 사이의 데이터를 스트리밍하는 예제저는 sink DB를 두 개로 설정하여 실습하였습니다.(mysql - kafka - mysql, postgres)참조: Local 환경https://github.com/pran

2023년 11월 21일

2.[Kafka(CDC)] SourceDB - Kafka - SinkDB 2 개 (MySql, Postgres)

post-thumbnail

로컬 환경MySQL(sourceDB), MySQL(sinkDB1), Kafka, Zookeeper, PostgreSQL(sinkDB2) 이미지로 구성postgres 접속custom_sinkdb 생성 및 users 테이블 생성postgresuser 권한 부여connect

2023년 11월 21일

3.Stream data ingestion with Redpanda

post-thumbnail

출처DataOps 01: Stream data ingestion with Redpanda관리가 쉬울 뿐만 아니라 플랫폼 구축 비용도 저렴하기 때문에 시스템 관리자의 작업도 덜 어렵다.Redpanda를 10배 더 빠르고 6배 더 저렴하게 만드는 두 가지 주요 기능은Zoo

2023년 11월 21일

4.오라클 클라우드(db - kafka) ← → 로컬(druid - superset)

post-thumbnail

로컬 위에 도커를 설치하고 그 위에 드루이드와 슈퍼셋 설치Oracle Cloud 위에 도커를 설치하고 kafka와 source DB로 Mysql과 sink DB1으로 Mysql을 sink DB2로 postgres를 설치docker-compose.ymlenvironmen

2023년 11월 21일