카프카 파티션이란?
하나의 토픽을 한 번에 처리할 수 있게 하되 그 한계를 높이기 위헤서 만들어진 것이다.
카프카에서는 토픽 하나를 여러 개로 나눠 병렬로 처리 가능하게 한다.
파티션 수도 토픽을 생성할 때 옵션으로 설정하게 되는데, 파티션 수를 정하는 기준은 다소 모호한 경우가 많다고 한다.
파티션 수 설정 시 유의점
파티션 수는 토픽 생성 후 언제든지 늘릴 수 있지만, 반대로 한번 늘린 파티션 수는 절대로 줄일 수 없다는 점을 명심해야 한다.
따라서 초기에 토픽을 생성할 때 파티션 수를 작게, 즉 2 or 4 정도로 생성한 후 메세지 처리량이나
컨슈머의 LAG(={프로듀서가 보낸 메세지 수} - {컨슈머가 가져간 메세지 수}) 등을 모니터링 하면서 조금씩 늘려가는 방법이 가장 좋다고 한다.
적적한 파티션 수 산정 참고
Daily Coding