卡夫卡经纪人在经纪人宕机后不平衡分区
[英]Kafka Brokers don't balance partitions after a broker goes down
问题描述
我们有一个 3-broker 3-zookeeper 集群，我们已经关闭了一个代理。 我们总共有 180 个分区，每个主题有 2 个副本。 当一个节点被关闭时，有 75 个在复制的分区下，它保持这种状态，看起来没有任何事情发生。 当我启动我取下的代理时，分区很快被它拾取并且工作正常。
这些机器非常大（30gb 内存，快速磁盘），每个代理上的所有数据都是 10gb，所以我不知道为什么它不会快速将分区从一个已关闭的节点移动到一个仍在运行的节点，似乎就像它不知道该节点已被删除一样。
有小费吗？ 节点宕机后如何监控恢复过程？
卡夫卡版本 - 2.6.0
1 个解决方案
解决方案1
0 2021-06-07 12:40:39
这是设计使然，在您首先使用kafka-reassign-partitions手动将分区移出之前，不会将任何数据移出代理
同样，如果您尝试从集群中完全删除节点，则需要执行此操作，这实际上与让它崩溃并且永远不会回来的行为相同
卡夫卡经纪人倒闭
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.