Kafka Topics

Kafka Topics란 모든 종류의 메시지가 포함될 수 있으며 이러한 모든 메시지의 순서를 데이터 스트림이라고 부릅니다.

• Kafka Topics의 데이터는 기본적으로 1주일(deafult 설정) 후 삭제되며 이 설정 값은 변경할 수 있습니다.
• 오래된 데이터를 삭제하는 매커니즘은 시간이 지남에 따라 토픽을 재활용하는 Kafka 클러스터의 디스크 공간이 부족해지지 않도록 보장합니다.

Kafka Partitions

토픽은 여러 파티션으로 분류됩니다. 단일 토픽에는 하나 이상의 파티션이 있을 수 있으며, 100개의 파티션이 있는 토픽을 보는 것이 일반적입니다.

• 토픽의 파티션 수는 토픽 생성 시 지정됩니다.
• 파티션 번호는 0부터 N-1까지. 여기서 N은 파티션 수 입니다.
• 아래 그림은 3개의 파티션으로 구성된 토픽이고 각 파티션의 끝에 메시지가 추가됩니다.

• offset은 kafka가 파티션에 메시지가 기록될 때 각 메시지에 추가하는 정수 값입니다.
• 카프카 토픽은 불변입니다. 파티션에 데이터가 기록되면 변경할 수 없습니다.

Kafka Offsets

Kafka Offsets란, 파티션 내의 메시지 위치를 나타냅니다.

• 모든 파티션의 오프셋 번호는 0부터 특정 Kafka 파티션에 메시지가 보내질 때마다 1씩 증가합니다.
  즉, Kafka Offsets는 특정 파티션에 대해서만 의미가 있습니다. 예를 들어 파티션 0의 오프셋 3은 파티션 1의 오프셋 3과 동일한 데이터를 나타내지 않습니다.
• Kafka Offset 순서
  • 토픽에 하나 이상의 판티션이 있는 경우 Kafka는 판 파티션 내의 메시지 순서를 보장하지만 파티션간 메시지 순서는 없습니다.