profile
망한 개발자의 개발 기록입니다. 저를 타산지석으로 삼으시고 공부하세요.

Kafka 커맨드 라인 명령어

이 포스팅은 카프카 관련 애플리케이션 제작 과정에서 커맨드 라인 명령어를 반복적으로 치게되면서 한번 정리하면 좋겠다 싶어서 정리하였습니다. (지속적으로 내용은 추가할 예정입니다.) ※ 포스팅에 쓰인 my-kafka는 EC2 인스턴스 발급시 생성되는 ip를 의미합니다.

2021년 4월 27일
·
0개의 댓글

Kafka Producer Application 구현하기 1

1. Basic Producer Application 여기서는 가장 기본적인 프로듀서의 기능만을 하는 프로듀서 애플리케이션을 직접 작성해볼 것이다. 1) EC2에 Kafka를 설치하기 이전에 작성한 포스팅인 AWS EC2에 Kafka 설치하기를 참고하여 EC2에 카프카

2021년 4월 27일
·
0개의 댓글

장애에 대응하는 Kafka

여러 종류의 장애에 대응하는 카프카.. 레코드의 장애 대처 파티션의 장애 대처 브로커의 장애 대처 일반적으로 클러스터의 다수 브로커 중 한 대의 브로커는 컨트롤러의 역할을 하게 된다. 클러스터의 브로커 중 컨트롤러가 아닌 브로커에 장애 발생시, 컨트롤러는 ① 클러

2021년 4월 19일
·
0개의 댓글

Kafka 스트림즈 알아보기

이번 포스팅은 [도서] 아파치 카프카 애플리케이션 프로그래밍 with 자바를 베타리딩하며 개인적으로 가장 어렵게 느꼈던 스트림즈에 대해 이해하고 구현해보려 합니다. 1. 카프카 스트림즈 1) 카프카 스트림즈란? 토픽에 적재된 데이터를 처리하고 분석하기 위한 라이브러리

2021년 4월 17일
·
0개의 댓글

Kafka 스트림즈 구현하기 (스트림즈 DSL, 프로세서 API)

이번 포스팅에서는 카프카 스트림즈를 간단한 예제로 스트림즈 DSL과 프로세서 API를 구현해보려 합니다. 이런 스토리로 예제를 구현해보겠습니다. 학생들의 시험 성적 데이터를 담고 있는 Topic인 user_score가 있다고 합니다. 하지만 이 시험은 10점을 초과해야

2021년 4월 17일
·
0개의 댓글

Kafka 시스템 구조 알아보기

- Kafka 관련 이전 포스팅 1) AWS EC2에 Kafka 설치하기 Kafka를 공부하다 보면 여러 용어들을 볼 수 있습니다. 어딘지 모르게 익숙한 용어인 Cluster 부터 생소한 Zookeeper나 Topic 같은 용어들이 있습니다. 실제 데이터 처리를 할

2021년 4월 15일
·
1개의 댓글

AWS EC2에 Kafka 설치하기

이번 포스팅의 목표는 아래와 같습니다. AWS EC2에 Kafka 설치하기. Kafka에 topic 생성하기. Kafka에 데이터 produce 하기. Kafka에서 데이터 consume 하기. 0. 작업 환경 및 서버 정보 | Name | Main Info | 기

2021년 4월 14일
·
1개의 댓글