从Kafka客户端增加Kafka主题中的分区数

Question

我是Apache Kafka的新用户，我仍然了解内部。

在我的用例中，我需要从Kafka Producer客户端动态增加主题的分区数。

我发现了有关增加分区大小的其他类似问题 ，但它们使用了zookeeper配置。 但我的kafkaProducer只有Kafka代理配置，但没有zookeeper配置。

有没有办法可以从Producer端增加主题的分区数量？ 我正在运行Kafka版本0.10.0.0。

Answer 1

截至Kafka 0.10.0.1（最新版本）：正如Manav所说，无法增加Producer客户端的分区数量。

展望未来（下一版本）：在即将推出的Kafka版本中，客户将能够执行一些主题管理操作，如KIP-4中所述 。 许多KIP-4功能已经完成并可在Kafka的trunk ; 今天的trunk的代码允许客户端创建和删除主题。 但遗憾的是，对于您的用例，仍然无法增加分区数量 - 这是KIP-4的范围（请参阅更改主题请求 ）但尚未完成。

TL; DR：Kafka的下一个版本将允许您增加Kafka主题的分区数，但此功能尚不可用。

Answer 2

无法从Producer客户端增加分区数。 任何特定用例都使用为什么你不能使用代理实现这一目的？

但我的kafkaProducer只有Kafka代理配置，但没有zookeeper配置。

我认为任何客户端都不允许您更改代理配置。 您最多只能访问（读取）服务器端配置。

Answer 3

您的制作人可以为ProducerRecord提供不同的密钥。 代理将它们放在不同的分区中。 例如，如果您需要两个分区，请使用“abc”和“xyz”键。

这也可以在0.9版本中完成。