Kafka 主题的理想分区数

Question

我目前正在研究一个有 6 个kafka-brokers的设置，数据正以每秒大约 4000 条消息的速度从两个producers推送到我的topic中，我有 5 个Consumers作为一个小组工作。 我的kafka topic的理想分区数应该是多少？

如果brokers/consumers/producers也需要任何更改，请随时告诉我。

Answer 1

一般来说，更多的分区 - 更多的吞吐量。 但是，还有其他考虑因素，例如您运行的硬件的限制，您是否使用压缩等。Confluent提供了足够好的信息，可以让您深入了解粗略的计算，您可以使用它来得出分区数量。

选择分区数量的粗略公式基于吞吐量。 您可以测量在单个分区上可以实现的生产（称为 p）和消费（称为 c）的吞吐量。 假设您的目标吞吐量是 t。 然后你需要至少有 max(t/p, t/c) 个分区。 在生产者上可以实现的每个分区的吞吐量取决于诸如批处理大小、压缩编解码器、确认类型、复制因子等配置。

此外对于消费者

消费者吞吐量通常取决于应用程序，因为它对应于消费者逻辑处理每条消息的速度

因此，最好的方法是针对您自己的用例进行衡量和基准测试