카프카

링크드인 에서 만들어진 시스템Kafka란?파편화된 데이터 수집 및 분배 아키텍처를 운영하는데 큰 어려움을 겪음 타킷 애플리케이션 장애 발생시 소스 애플리케이션에 직접적으로 영향을 줌 카프카 등장카프카 중앙 배치함으로써 소스/타킷 애플리케이션 간 의존도 완화기존 1:1

실제 호스트의 /dev/shm 공간을 도커가 공유 할 수 있도록 설정한다

카프카 기본 개념 카프카 브로커 카프카 클라이언트와 데이터를 주고받기 위해 사용하는 주체 카프카의 데이터 복제 및 싱크 카프카의 데이터 복제는 파티션 단위로 이루어진다. 복제 개수의 기본 값은 브로커 옵션의 기본값인 1 이다. 프로듀서/컨슈머와 직접통

적정 파티션 개수토픽의 파티션 개수는 카프카의 성능과 관련이 있다.적정 파티션 개수토픽 생성시 파티션 개수의 고려사항데이터 처리량메시지 키 사용 여부브로카, 컨슈머 영향도파티션은 카프카의 병렬처리의 핵심이다. 파티션의 개수가 많아지면 많아질수록 1:1 매핑되는 컨슈머

0,1,all(또는 -1) 값을 가질 수 있다.프로듀서가 전송한 데이터가 카프카 클러스터에 얼마나 신뢰성 높게 저장할 지 지정하는것카프카 복제 개수가 2 이상으로 운영하는 경우에만 의미가 있다.(1인경우 성능차이가 없음)acks=0프로듀서가 리더 파티션으로 데이터를 전