拆分Kafka主题的任何优势
[英]Any advantages splitting up Kafka Topics
问题描述
我正在开发一个应用程序/ Kafka集群，该集群将产生/使用到主题的消息（每秒约10万条消息）。 消息格式是相同的，因此我最初的想法是对所有消息使用单个主题。
但是，Kafka将消息分成多个主题有什么好处？ 存在可以应用的逻辑分离，该逻辑分离可以将主题分为多个（10个主题）。
除了生产者/消费者方面。 Kafka本身是否拥有1个大型主题与多个较小主题相关的性能，冗余，稳定性，管理等方面的偏好？
2 个解决方案
解决方案1
1 已采纳 2018-04-10 17:45:27
主题分区是并行化Kafka的常用方法，但是，如果需要，您也可以选择将其拆分为多个主题。 但我首先要研究事物的分区方面。 这是一篇很好的Confluent文章 ，介绍如何选择正确数量的分区。 特别要注意的是，如果要在键上进行分区，然后在事实之后添加分区可能会导致数据拆分，因此请尽可能地对它进行适当的考虑。
解决方案2
0 2018-04-10 17:01:40
kafka中的并行性取决于主题中的分区数量。只要分区数量是最佳的，数据吞吐量就会增加（不必要的大量分区会产生开销）。通过增加使用方数量，您可以同时从分区流式传输消息
对于 Kafka 消息压缩，它会显示在压缩的主题中吗？
[英]For Kafka message compression, will it show up in the topics compressed?
卡夫卡喷口错误“消费者未订阅任何主题或未分配任何分区”
[英]Kafka spout error “Consumer is not subscribed to any topics or assigned any partitions ”
如何清理 Kafka KStream 内部变更日志和重新分区主题
[英]How to clean up Kafka KStream internal changelog and repartition topics
Kafka 中的主题数量可以与客户端数量一样多吗？
[英]Can the number of topics in Kafka scale up as much as number of client?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.