如何讓多個 Mirror Maker 節點分擔復制負載？

Question

我正在嘗試在兩個不同的 Kafka 集群（集群 A 和集群 B）之間啟用復制。 我不需要主動/主動復制。 從 A → B 對我來說就足夠了。

為了實現這個目標，我計划建立一個 Mirror Maker 2 集群，例如數據流如下：

集群 A → Mirror Maker 2 集群 → 集群 B

集群 A 有接近 3k 的分區，它是關鍵業務應用程序的一部分，所以我必須保證 A 和 B 之間的快速復制。

我開始嘗試設置一個專用的鏡像制造商集群（即使用connect-mirror-maker.sh ）。

KIP-382提到“在這種模式下，MirrorMaker 不需要現有的 Connect 集群。 相反，高級驅動程序管理一組 Connect 工作人員。”。 但是，我正在努力解決如何讓多個節點相互通信以分配負載。

我嘗試了多種配置，例如listeners 、 rest.advertised.host.name 、 rest.advertised.port等。

它們似乎都無法實現 MM2 工作人員之間的通信。 有人可以向我指出如何實現這一目標的示例配置嗎？

Answer 1

在深入研究之后，我發現截至目前（2022 年 6 月），專用 Mirror Maker 集群不支持分布式模式。 如果想要使用多個代理/工作人員運行 Mirror Maker，則需要一個連接集群。 正在考慮使用 KIP來改變這種行為。