卡夫卡中針對不同主題的多個連接器將到達同一節點

Question

我在kafka-connect中創建了兩個kafka連接器，它們使用相同的Connector類，但是它們聽的主題不同。

當我在節點上啟動流程時，兩個連接器最終都會在此流程上創建任務。 但是，我希望一個節點僅處理一個連接器/主題。 如何將主題/連接器限制為單個節點？ 我在connect-distributed.properties中看不到任何配置，其中一個進程可以指定要使用的連接器。

謝謝

Answer 1

分布式模式下的Kafka Connect可以作為一個或多個工作程序的集群運行。 每個工人可以執行多個任務 。 根據要運行的連接器和工作線程數，您將在同一工作 線程上運行任務 。 這是有意的-想法是Kafka Connect將在可用的工作人員中為您管理任務和工作量。

如果要隔離處理，則可以將Kafka Connect作為單獨的Connect群集運行，可以在同一台機器上（確保使用不同的REST端口），也可以在單獨的機器上運行。

有關更多信息，請參閱體系結構和配置以獲取配置單獨群集的步驟。 請注意，群集實際上可以是單個工作線程，但是如果發生故障，則沒有任何冗余。