卡夫卡中针对不同主题的多个连接器将到达同一节点

Question

我在kafka-connect中创建了两个kafka连接器，它们使用相同的Connector类，但是它们听的主题不同。

当我在节点上启动流程时，两个连接器最终都会在此流程上创建任务。 但是，我希望一个节点仅处理一个连接器/主题。 如何将主题/连接器限制为单个节点？ 我在connect-distributed.properties中看不到任何配置，其中一个进程可以指定要使用的连接器。

谢谢

Answer 1

分布式模式下的Kafka Connect可以作为一个或多个工作程序的集群运行。 每个工人可以执行多个任务 。 根据要运行的连接器和工作线程数，您将在同一工作 线程上运行任务 。 这是有意的-想法是Kafka Connect将在可用的工作人员中为您管理任务和工作量。

如果要隔离处理，则可以将Kafka Connect作为单独的Connect群集运行，可以在同一台机器上（确保使用不同的REST端口），也可以在单独的机器上运行。

有关更多信息，请参阅体系结构和配置以获取配置单独群集的步骤。 请注意，群集实际上可以是单个工作线程，但是如果发生故障，则没有任何冗余。