繁体   English   中英

一个 Kafka 主题中的分区可以具有不同的复制因子吗?

[英]Can partitions in one Kafka topic have different replication factors?

在定义 kafka 主题时,我可以设置复制因子,通常 Kafka 会在可用的代理之间分配分区。

假设我有 3 个代理并且有一个包含多个分区和复制因子 = 2 的主题,那么一些分区将设置在代理 [0,1] 上,一些分区设置在 [0,2] 上,一些在 [1,2] 上](暂时忽略领导者选择/偏好)

我可以稍后仅将一个分区设置为具有 3 的复制因子(从而将此分区添加到剩余节点),而不必也为其他分区执行此操作? 有一个数字!=所有分区复制到比其他节点更多/更少的节点有什么缺点吗?

我看到的所有文档等都只谈到了整个主题的复制因素

我知道我在每个分区的基础上使用 kafka-reassign-partitions,但我没有发现关于只重新分配几个分区是好是坏或危险(如果有的话)可能是什么的讨论或建议

只有主题有复制因子,没有分区。

分区可能会变得不同步,并在出错的情况下失去领导力,在这种情况下,一个或多个分区变得不可用,但主题仍然是应该有多少副本的来源

我没有发现关于只重新分配几个分区是好是坏的讨论或建议

您通常只会在维护或集群扩展时执行此操作,以删除大分区,以免占用某些代理上的过多磁盘空间。

主要的“坏”事情是您的网络传输分区的速度有多快,同时仍然处理到主题的其他副本的流量。

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM