https://www.youtube.com/watch?v=0Ssx7jJJADI
Apache Kafka
more than 80% all fortune 100 companies use Kafka.
Kafka is an open-source distributed event streaming platform.
카프카 클러스터
메세지를 저장하는 저장소
하나의 카프카 클러스터는 여러개의 브로커로 구성이 되는데 브로커는 하나의 서버라고 생각하면 됨
브로커들이 메세지를 저장하고 이중화 처리, 장애 처리 등의 역할을 함
데이터를 이동하는데 필요한 핵심 역할을 하게 됨
주키퍼 클러스터
카프카 클러스터를 관리
프로듀서
카프카에 메세지를 넣음
컨슈머
넣은 메세지를 읽어와서 필요한 처리를 진행함
토픽
카프카에서 메세지를 저장하는 단위
메세지를 구분하는 용도로 사용함
파일시스템의 폴더와 유사함
파티션
파일시스템의 파일과 유사함
1토픽은 1개 이상의 파티션으로 구성됨
오프셋
각 메세지 저장 위치
건건이 받는 것보다 묶어서 보내고 받을 수 있기때문에 전체적인 처리량을 늘릴 수 있음
- 장애 대처를 위해 리플리카 사용함
baehj