如何更改Kafka集群中某个主题的代理数量？

Question

我对某些Kafka主题有疑问，但尚未找到答案。

在__confluent.support.metrics中添加更多分区应该不成问题（我知道该怎么做），但我想知道是否有可能告诉它使用代理，而该代理显然无法通过本主题看到？

我也很想理解为什么这些主题仅继承某些代理，而不继承其群集中所有可用的5个代理。

我很想解决这些问题。 但是我担心，如果我告诉它在代理上添加（或使用）分区，则该主题将无法“看到”，这可能无法正常工作甚至破坏该主题，这将非常糟糕。

我如何指示这些主题，有5个可用经纪人？ 我可以使用其中一种Kafka工具吗？

首先怎么会这样？

为什么__consumer_offsets主题仅“看到” 4个代理，而不像该集群中的所有其他主题那样“看到” 5个？

仅供参考：我没有设置任何程序，但是我必须清理/重新安装正在运行的群集，并且现在卡住了，以前我从未遇到过此类问题

Answer 1

发生这种情况的原因是因为__confluent.support.metrics主题只有一个分区和一个副本。 在5节点集群中，这意味着您将仅使用集群中20％的可用代理，这与您发布的映像相对应。 具有复制因子1和1分区的主题将仅在一个代理上保存数据。

另一方面，您的__consumer_offsets主题仅使用5个代理中的4个是很不寻常的。 我的猜测是，您的第5个代理在创建__consumer_offsets时不在线（这是您首次使用任何主题消费时创建的），因此在该代理上未创建任何分区。

但是，这可能不必担心，因为分区在群集中的分布通常由Kafka本身处理，而不是用户问题。 本身没有“看到”经纪人这一主题的概念。 相反，代理将保留主题的数据，主题将知道它们驻留在哪个代理上。 主题通常不需要与其他经纪人联系。

Answer 2

消费者抵销和Confluent度量标准主题在服务器属性文件中都有行项，这些行项确定将使用这些配置创建哪些配置。

为了改善这些主题的运行状况，您可以尝试增加复制因子 ，这将使您的主题分布在更多的代理上并提供容错能力。 另请参阅Kafka工具Wiki