属性文件中关于 num.partitions 的行为

Question

我发现 num.partitions 的值是创建自动主题时整个 kafka 集群上的分区号。

我在我的机器上启动了 2 个代理，brokerA 和 brokerB 有自己的 server.properties（两个 num.partitons = 2），然后我启动了一个生产者向 kafka 写消息。 我发现每个经纪人创建 1 个分区。

问题是，当集群中的代理每个都有自己不同的 num.partitions 时，一个主题有多少个分区的逻辑将变得模糊。 例如，brokerA num.partiton=2，brokerB num.partitions=1。 当一个主题被自动创建时，这个主题将有多少个分区？

我已经测试了这个案例，但我找不到逻辑规则。 行为似乎是随机的，有时自动主题有 1 个分区，有时有 2 个。

Answer 1

按照设计，生产者将选择一个负载最少的代理来获取主题元数据。 对于任何不存在的主题，如果auto.create.topics.enable为 true，则所选代理会使用自己指定的num.partitions创建它们。 负载最少的代理是指未完成请求最少的节点。 在您的测试环境中，有时可能是 brokerA，但有时可能是 brokerB。 这就是你观察随机性的原因。