[英]Configuring connectors for multiple topics on Kafka Connect Distributed Mode
[英]Distributed Kafka Connect with multiple Connectors and one Topic
Kafka Connect集群在分布式模式下的偏移管理的行为是什么,该模式运行多个连接器并侦听同一组主题(或一个主题)?
因此,在分布式模式下,Kafka Connect会将偏移信息存储在Kafka中,该偏移将由集群中的工作人员读取并提交。 如果我在那个Kafka Connect集群中有多个正在运行的连接器正在侦听同一主题,会发生什么情况? 分区的偏移量是否在所有连接器中都相同,还是每个连接器在分区上具有不同的偏移量?
在后台,接收器连接器具有属于使用者组的使用者(通常使用group-id="connect-connectorName"
)。 据我所知,在同一使用者组中不能有两个接收器连接器(在同一使用者组中没有两个连接器是没有意义的-如果需要,您可以简单地增加任务数)。 因此,在您的用例中,当收到一条消息时,它将由两个连接器处理,并且两个不同的偏移量将保留在__consumer_offsets
主题中(每个连接器/ consumerGroup一个)。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.