Kafka Broker 与分区负责人

Question

请区分Kafka Leader（Broker）和Partition leader。 分区领导者也可以出现在跟随者中。 当我们向Kafka broker发送消息时，它会根据分区直接将消息发送给leader和follower？

Answer 1

来自https://kafka.apache.org/documentation/#intro_distribution

每个分区有一个充当“领导者”的服务器和零个或多个充当“跟随者”的服务器。 领导者处理分区的所有读写请求，而追随者则被动地复制领导者。

[编辑]

来自https://kafka.apache.org/documentation/#design_replicamanagment

优化领导选举过程也很重要，因为这是不可用的关键窗口。 一个简单的领导者选举实现最终会在该节点失败时为该节点托管的所有分区运行每个分区的选举。 相反，我们选择其中一位经纪人作为“控制器”。 该控制器检测代理级别的故障，并负责更改故障代理中所有受影响分区的领导者。 结果是，我们能够将许多必需的领导层变更通知一起批处理，这使得大量分区的选举过程更加便宜和快速。 如果控制器出现故障，幸存的代理之一将成为新的控制器。

Answer 2

代理仅将消息写入主题的分区领导者，这些消息复制到跟随者分区。

如果领导分区失败，跟随分区将替换领导分区。

什么是 kafka 控制器？ A. Kafka 控制器是 Kafka 集群的大脑：Broker leader 称为 kafka 控制器。

其中一个经纪人作为主动控制者，一次只能有一个控制者。 如果你发现 2 个控制器是一个小故障。

控制器监控代理的活跃度并对代理故障采取行动，即如果代理死亡，则控制器将其主题分区的领导权分配给集群中剩余的代理。

还负责选举主题分区领导者。

zookeeper 选择其中一位经纪人作为控制器。 代理控制器将选择分区之一作为领导者。

当 Zookeeper 没有收到来自 Controller 的心跳消息时，Zookeeper 会选择可用的 broker 之一作为新的控制器。