kafka 分区可以分布在多个 kafka 集群节点上吗？

Question

我的应用程序有一个在 spring.kafka.bootstrap-servers 属性中指定的 kafka 集群节点列表，并监听所有这些节点上的主题。

如果我要在其中一个节点上创建一个主题，假设有 5 个分区，这些分区会分布在这些多个节点上，还是会在单个节点上创建？ 另外，如何找出主题分区实际存在于哪个节点上？

Answer 1

您实际上并没有在 Kakfa 集群的一个特定节点中创建主题。 当您发出创建主题的请求时，分区将自动分布在属于集群的所有节点上，并且副本也将分布。 这就是 Kafka 处理高可用性的方式。 如果其中一个节点宕机，其他节点拥有所有需要的数据，因此不会出现宕机时间或对集群用户造成影响。

您可以像这样发出--describe命令：

> bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic my-replicated-topic

    Topic:my-replicated-topic   PartitionCount:1    ReplicationFactor:3 Configs:
        Topic: my-replicated-topic  Partition: 0    Leader: 1   Replicas: 1,2,0 Isr: 1,2,0

这将为您提供主题的分区列表，它们位于何处，哪个节点是该分区的领导者（当消费者需要来自该分区的数据时，消费者被告知从该节点开始消费），以及更多信息，例如同步副本状态或 ISR 和复制因子。

此处和此处的官方 Kafka 文档有更多信息。

请记住，当您的客户端连接到bootstrap-server时，它并没有指定从中读取数据的完整代理列表。 它只是指定一个（或多个）代理，从中提取有关集群的信息。 当客户端从给定的主题和分区读取/写入时，直接对保存该数据的相关代理完成（无论引导程序中指定的特定代理如何）。 您可以在此处和此处查看有关此过程的更多信息。

Answer 2

就像另一个答案所说的那样，主题不是由特定节点拥有或创建的，而是完全为集群创建的。 每当创建主题时，分区就会在集群节点之间进行划分。 每个分区都有一个领导节点和副本节点。 生产者写入领导节点，Kafka 在内部复制副本节点上的数据。 消费者从其领导节点消费一个分区的数据。

为了更好地理解/可视化 Kafka 中的主题分区分布，您可以使用Kafdrop之类的工具。您可以按照 repo 的自述文件部分中的步骤进行设置。 您可以从这里下载最新的二进制文件。 在 UI 中，您可以看到主题的每个分区的领导者和副本节点。

设置非常简单，我个人认为该工具非常有用！