kafka Adapter 만들기(한이음)

Kafka Adapter의 탄생 배경 RDBMS에서 데이터를 가져다 kafka에 구축할 때 가져온 데이터의 언어가 다 달랐다 → 관리가 어렵다. 테이블 변경 시 전부 수정해야 했다. Kafka Adapter DB의 어느 테이블이든 상관없이 데이터를 가져올 수 있다.

그 결과 뭐가 뜨긴 하는데 왼측 하단에 여전히 No connection established로 연결이 안 됐다고 한다. 그러다 이 스택오버플로우를 발견했고,

Create(생성), Read(읽기), Update(갱신), Delete(삭제) 데이터베이스 에서의 INSERT, SELECT, UPDATE, DELETE를 말한다. Visual Studio Code(Python 3.8.0)MySQL Workbench(MySQL 8.0

기존의 end to end 연결 방식의 아키텍쳐는 문제가 많았다.실시간 트랙잭션(OLTP) 처리와 비동기 처리가 동시에 이뤄지지만 통합된 전송 영역이 없어 복잡도가 증가한다. 문제 발생 시 여러 시스템을 확인해야한다. 스케일아웃이 어렵다.데이터 파이프라인 관리가 어렵다

멘토링2는 코드 작성producer/consumer를 실행하면 config 파일을 참조한다.xml과 SQL파일을 따로 저장해 import하는 방식으로 쓴다.\-> 하드 코딩 줄이고 모듈화하여 재사용할 수 있어 효율성 증대import하지 않고 파일 하나에 때려박는 식으로