AWS EC2 단일 카프카 설치하기

록스블로그·2023년 10월 25일
0

브로커 구성도 크게 힘들지는 않지만 비용적인 부분때문에 단일 브로커를 사용해야한다.
원하는 성능의 ec2를 실행하였다는 가정하에 진행하며 나는 ami-0cb1d752d27600adb (ubuntu 18.04)를 사용하였다

해당 진행 과정은 fastcampus 데이터 엔지니어링 초격자 패키지 진행과정에서 배운 내용이다.

sudo apt update

sudo apt install build-essential

sudo apt-get install openjdk-8-jdk

wget https://downloads.apache.org/kafka/3.4.1/kafka_2.12-3.4.1.tgz \
	&& tar xzf kafka_2.12-3.4.1.tgz

기본적인 JAVA 8 과 kafka 설치를 진행하고

~/.bashrc에

export KAFKA_HOME=/home/ubuntu/kafka_2.12-3.4.1

를 추가한다

후에 $KAFKA_HOME/config/kraft/server.properties 파일에서

node.id=1
controller.quorum.voters=1@publicdns:9093 ##사실 단일 노드라 쿼럼이 필요 없기는 하다
advertised.listeners=PLAINTEXT://DNS:9092
num.partitions=3

이정도 바꿔주고
Daemon으로 카프카 실행시켜주면 끝~~

profile
어려움에 성장하는 데이터 엔지니어

0개의 댓글