Apache Kafka
1.시리즈 소개
이 시리즈는 아파치 카프카(Apache Kafka)에 대한 기초 지식을 다룹니다.데브원영 아파치 카프카 for beginners 강의 (무료)
2.[Kafka] 카프카의 기본 개념과 구조
어떤 프로젝트에 있어, 개발 초기에는 데이터를 주고받는 데에 있어 Source Applicatino - Target Application으로 단방향으로만 이루어져도 무리가 없다.그러나 프로그램이 커지면 이러한 데이터 전송 라인이 많아지며 복잡해지는데, 이렇게 되면 배포
3.[Kafka] Topic, Partition
: 카프카에는 다양한 데이터가 들어갈 수 있는데, 그 데이터가 들어갈 수 있는 공간카프카 토픽은, 일반적인 AMQP와는 다소 다르게 동작한다. 데이터베이스의 테이블, 파일 시스템의 폴더와 유사한 시스템을 가지고 있다.마찬가지로 토픽에 데이터를 넣는 것은 프로듀서가, 가
4.[Kafka] Broker, Replication, ISR(In-Sync-Replication)
브로커(broker), 복제(replication), ISR(In-Sync-Replication)은 카프카 운영에 있어 아주 중요한 역할을 한다.: 복제. 파티션의 복제카프카 아키텍처의 핵심이다! 왜냐하면, 클러스터에서 서버에 장애가 생겼을 때 카프카의 가용성을 보장하
5.[Kafka] Kafka로 로깅하기 - 1. 카프카로 로그를 보내는 방법들
ELK 스택을 사용해 Log 관리 시스템을 만들때 Kafka가 중간에 메세지 큐로서 주로 사용된다.여러 app들이 kafka로 log 메세지를 보내는 방법에는 여러가지가 있다.참조: https://www.elastic.co/kr/blog/just-enough-
6.[Kafka] Kafka로 로깅하기 - 2. logback-kafka-appender 사용하기
이번 글에서는 애플리케이션에서 발생한 로그 이벤트를 아파치 카프카를 통하여 Publish 하는 방법에 대하여 다루어본다.💬 Log4j는 KafkaAppender를 직접 지원한다.Logback의 경우 오픈소스로 제공되는 logback-kafka-appender를 사용한