kafka를 쓰는 이유 : 하나의 데이터를 여러 서비스가 처리하기 위해서
- 일반적인 API로 호출하는 방법의 문제는 '만약에 못받으면? URL주소가 바뀔때마다 바꿔줘야해 매번?'
- 각 서비스에서 데이터를 끌어오는 방법의 문제는 '어떻게 모니터링을 할 것인지?, 주기를 어떻게 할 것인지?'
- 지속적으로 모니터링을 해야하니 일정 부분의 자원을 계속 할당해야 하고, 실시간 데이터 처리도 불가
그래서 '데이터 올려둘게 필요하면 알아서 가져다 써'로 설명할 수 있는 kafka를 사용
kafka 용어정리
토픽(Topic): 데이터 저장의 기본 단위
프로듀서(Producer): 데이터를 생성하는 역할
컨슈머(Consumer): 데이터를 사용하는 역할
브로커(Broker): 데이터를 관리하고 전달하는 중개자
파티션(Partition): 확장성과 성능을 위한 데이터 분할
컨슈머 그룹(Consumer Group): 여러 서비스의 협업
.