Kafka & Message Que & Elastic Basic to Advanced
1.카프카(Kafka)란?, 메세지 큐 들여다 보기
메시지 큐(Message Queue 이하 MQ)란 프로세스(프로그램) 간에 데이터를 교환할 때 사용하는 통신 방법 중에 하나로 더 큰 개념으로는 MOM(Message Oriented Middleware : 메시지 지향 미들웨어 이하 MOM)를 의미한다.
2.카프카(Kafka) 간단 설치와 실행 - simple Kafka, Zookeeper docker
카프카는 대용량, 대규모 메시지 데이터를 빠르게 처리하도록 개발된 분산 메시징 플랫폼이다. 즉, 카프카는 어플리케이션간에 메세지를 교환하기 위해 사용되는 메세징 시스템이다.
3.카프카(Kafka)와 스프링 부트 - springboot & kafka로 simple pub, sub 만들기
실행한 카프카 컨테이너를 스프링 부트에서 활용해 보자사랑스런 spring initianlizr 로 아래와 같이 대충 세팅해서 스프링부트 프로젝트를 만들자.
4.카프카 클러스터와 파이썬 (1) - python kafka with kafka cluster, consumer & producer & docker compose 파헤치기
Kafka cluster infra를 docker compose file로 구성하고, 다루고, 주요 설정값을 살펴보자. 그리고 python code 기반으로 consumer & producer 를 만들고 직접 고가용성을 테스트하고 GUI tool를 살펴보자.
5.카프카 클러스터와 파이썬 (2) - Debezium & Postgresql & Django, log based CDC 만들기 (source & sink connector)
kafka clustering & connect - debeizum 을 활용해 Log based CDC를 기반으로, DB 3대 duplication set을 구성하고 select & others & backup DB로 분할 구성 하고 django dbrouting 하기
6.Elasticsearch - 루씬 기본 개념과 ES 시스템 및 데이터 구조(Node, Index, Shard) 이해하기
새로운 Elasticsearch 데이터 구조 이해하기, https://youtu.be/JqKDIg8fgd8 동영상을 기준으로 추가적인 자료를 참고해서 elast에 대한 기본 개념과 전체적인 시스템 구조를 살펴보자!
7.Elasticsearch - ELK stack & Postgresql & Logstash, query based CDC 만들기 by docker compose
ELK stack 기반으로 postgresql DBMS와 logstash를 활용해 데이터 변화 감지, query based CDC를 구성해보자, 원리보다는 "활용"과 "범용성"에 초점이 맞춰져 있다.
8.[NHN FORWARD] Redis 야무지게 사용하기, Redis 운영팁
NHN FORWARD에서 소개하는 redis에 대한 정리를 한 글입니다. 해당 새션은 다음 링크에서 확인 가능합니다!