Apache Kafka란?
카프카는 여러 플랫폼에 서비스를 연결해 각 서비스에서 나오는 데이터 흐름을 실시간으로 제어하는 플랫폼이다.
이번 포스트에선
1. Docker-compose를 통해 Kafka 설치
2. Kafka를 통해 Hello Kafka 라는 메세지를 전송
3. Kafka 모델을 Git을 이용해 업데이트
를 해 볼 것이다.
1. Docker-compose를 통해 Kafka 설치
먼저, Kafka 이미지를 받을 가상환경을 구성해준다.
Ubuntu의 홈 디렉토리에서
/home/encore/kafka0629 라는 폴더를 만들고,
kafka0629 폴더에 venv 폴더를 만들어서 가상환경을 실행한다.
이후, docker-compose.yml 파일을 만들어 (vim docker-compose.yml) zookeeper와 kafka환경을 구성한다.
가상환경 구동과 docker-compose.yml이 작성되어 있다면,
docker-compose up -d 를 통해 zookeeper와 kafka 컨테이너를 실행한다. 실행 후, 실행되었는지를 확인하기 위해 docker ps 를 통해 zookeeper, kafka 실행 여부를 확인한다.
zookeeper, kafka 실행 여부를 확인했으니 해당 셋팅을 저장하여 Github에 올릴 것이다. 정확하게는
-pip list 를 통해 지금 가상환경에 설치된 패키지들을 확인한다.
-.gitignore 파일을 생성해서 Git에 venv폴더가 올라가지 않도록 설정해준다.
왜? 다른 pc (or 환경)에서 kafka를 쓸 때엔 이 포스트의 내용대로 kafka를 이용하겠지만, 가상환경 자체는 그 pc에서 새로 설정하고 그 위에 kafka를 올릴 것이기 때문에.
vi .gitignore 로 gitignore 파일 생성, venv 입력
-pip list freeze >> requirements.txt 를 통해 패키지들을 requirements.txt에 저장해준다. 추후 Github를 통해 이 환경을 쉽게 재현하기 위해서 저장하는 것이다.
3. Kafka 모델을 Git을 이용해 업데이트
현재 로컬 폴더와 Git을 연결 (remote)해준다.
git remote origin (URL)
현재 상태를 Github에 올리기 위해 현재의 상태를 git에 add 해준다. git add . 의 .은 해당 경로의 전체를 add 해준다는 뜻이다.
그리고 git status 커맨드를 통해 어떤것들이 add 되었는지 확인해준다.
commit 할 차례다. git commit -m 'kafka-python-docker'
push 할 차례. git push origin master
여기서 Username에 Github ID 넣어주고.
Password에는 깃허브에서 받은 키체인을 복-붙해준다.
