Kafka 中的主题数量可以与客户端数量一样多吗？
[英]Can the number of topics in Kafka scale up as much as number of client?
问题描述
是否可以在Kafka中分配主题和客户端之间的一对一映射，即如果我们想将每个clientID分配为主题（客户端数量可能高达数百万），Kafka是否可以扩展？ 如果可能，是否建议这样做？
更重要的是，如果无法实现这样的可扩展性，是否还有其他支持 Publisher-Subscriber model 的消息队列可以处理如此大量的主题？
1 个解决方案
解决方案1
1 已采纳 2020-05-15 21:12:16
这是可能的，但你会失去 Kafka 消费者的弹性。 Kafka 旨在跨多个消费者共享负载，因此如果消费者进程来了 go，主题上的记录将继续处理。
如果该消费者失败（或似乎已经失败），则每个主题一个消费者仅意味着该主题没有进展。
最好仔细阅读文档以查看Kafka的设计原则并确定它是否是正确的工具。适合您
您可以缩减 Amazon MSK 集群中 Kafka 代理的数量吗？
[英]Can you scale DOWN the number of Kafka brokers in an Amazon MSK cluster?
Kafka Streams：我可以将我的处理器订阅到具有不同分区数量的多个主题吗
[英]Kafka Streams: Can I subscribe my processor to multiple topics with different number of partitions
如何获取群集中所有Kafka主题的列表以及可用于主题的分区号和唯一的分区号
[英]How to get list of all Kafka topics in a cluster along with the partition number available for topics and unique partitions number
执行以更改kafka主题分区号，与其他主题一起发生UnknownServerException
[英]Execute to alter kafka topic partition number, occurred UnknownServerException with other topics
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.