限制Kafka中的主题数量

Question

我有一个特殊的用例，我可能需要在kafka中有大量的主题。 基本上这是时间序列，因此希望得到一般性的理解我应该如何处理这个问题。

我知道理论上没有限制，但实际上会有一些限制。 想在这里得到一些专家意见。

是否有可能扩展到一百万个主题，例如甚至更高？

Answer 1

好吧，没有为群集上的主题/分区定义固定数字。 但绝对有一些最佳实践描述了如何以有效的方式扩展集群。

实际上，主题数量本身并不能决定集群的可扩展性。 分区数影响更多而不是主题数。 每个主题可以有一个或多个分区。 您拥有的分区数量越多，将打开更多文件句柄，这将影响延迟。 此外，更多分区会增加不可用性。

因此，在执行群集大小和容量规划时，请遵循以下规则以获得稳定群集。

根据经验，如果您关心延迟，将每个代理的分区数限制为100 xbxr可能是个好主意，其中b是Kafka集群中的代理数，r是复制因子。

这是一篇很好的博客文章汇编： https ： //www.confluent.io/blog/how-choose-number-topics-partitions-kafka-cluster

我个人经历过5600个主题/ 23000个分区ob 6个Broker节点集群的问题。 由于巨大的打开文件句柄，代理变得不可用，我们不得不将集群扩展到12个节点。