多個組共享相同配置的分布式 Kafka 源連接器

Question

我有兩個 Kafka 連接器節點，分別是 Node-A 和 Node-B。

我在每個節點上運行一個分布式工作程序（指向同一個 Kafka 集群）。

組 id 和客戶端 id 在兩個分布式工作人員中都是唯一的。

在兩個節點上使用 http POST 請求成功創建連接器任務。 連接器任務為同一主題生成消息。

注意：我了解分布式工作人員的任務分配具有相同的組 ID。 但是我正在為一個特定的案例做如上所述的實驗。

我使用來自 Node-A 的 http GET 請求，例如http://localhost:8083/connectors

http 響應（來自 Node-A）顯示從兩個節點（即來自 Node-A 和 Node-B）創建的連接器，而我希望響應應該只產生從 Node-A 創建的連接器，而不是從 Node- B.

我想知道這兩個分布式工作人員之間共享什么以及如何覆蓋這種共享？

Answer 1

http 響應（來自 Node-A）顯示從兩個節點（即來自 Node-A 和 Node-B）創建的連接器

聽起來兩個組都共享相同的配置和狀態主題。

status.storage.topic
offset.storage.topic
config.storage.topic

根據文檔，建議您閱讀每個主題應具有哪些設置的描述，並手動創建主題

https://kafka.apache.org/documentation/#connect_running