브로커 구성도 크게 힘들지는 않지만 비용적인 부분때문에 단일 브로커를 사용해야한다.
원하는 성능의 ec2를 실행하였다는 가정하에 진행하며 나는 ami-0cb1d752d27600adb (ubuntu 18.04)를 사용하였다
해당 진행 과정은 fastcampus 데이터 엔지니어링 초격자 패키지 진행과정에서 배운 내용이다.
sudo apt update
sudo apt install build-essential
sudo apt-get install openjdk-8-jdk
wget https://downloads.apache.org/kafka/3.4.1/kafka_2.12-3.4.1.tgz \
&& tar xzf kafka_2.12-3.4.1.tgz
기본적인 JAVA 8 과 kafka 설치를 진행하고
~/.bashrc에
export KAFKA_HOME=/home/ubuntu/kafka_2.12-3.4.1
를 추가한다
후에 $KAFKA_HOME/config/kraft/server.properties 파일에서
node.id=1
controller.quorum.voters=1@publicdns:9093 ##사실 단일 노드라 쿼럼이 필요 없기는 하다
advertised.listeners=PLAINTEXT://DNS:9092
num.partitions=3
이정도 바꿔주고
Daemon으로 카프카 실행시켜주면 끝~~