多个组共享相同配置的分布式 Kafka 源连接器

Question

我有两个 Kafka 连接器节点，分别是 Node-A 和 Node-B。

我在每个节点上运行一个分布式工作程序（指向同一个 Kafka 集群）。

组 id 和客户端 id 在两个分布式工作人员中都是唯一的。

在两个节点上使用 http POST 请求成功创建连接器任务。 连接器任务为同一主题生成消息。

注意：我了解分布式工作人员的任务分配具有相同的组 ID。 但是我正在为一个特定的案例做如上所述的实验。

我使用来自 Node-A 的 http GET 请求，例如http://localhost:8083/connectors

http 响应（来自 Node-A）显示从两个节点（即来自 Node-A 和 Node-B）创建的连接器，而我希望响应应该只产生从 Node-A 创建的连接器，而不是从 Node- B.

我想知道这两个分布式工作人员之间共享什么以及如何覆盖这种共享？

Answer 1

http 响应（来自 Node-A）显示从两个节点（即来自 Node-A 和 Node-B）创建的连接器

听起来两个组都共享相同的配置和状态主题。

status.storage.topic
offset.storage.topic
config.storage.topic

根据文档，建议您阅读每个主题应具有哪些设置的描述，并手动创建主题

https://kafka.apache.org/documentation/#connect_running