当接收器启动时，如何使Kafka接收器连接器能够将主题中的数据插入表中

Question

我为数据存储区（Amppol AD​​S）开发了kafka-sink-connector（使用confluent-oss-3.2.0-2.11，connect框架），该存储区将kafka主题中的数据存储到我的存储区中的相应表中。

只要kafka服务器和ADS服务器启动并运行，一切都会按预期进行。

需要有关特定用例的帮助/建议，在该特定用例中，事件已吸收到kafka主题中，并且接收器组件（ADS）处于关闭状态。 期望这里是每当接收器服务器出现时，就应该在表中插入先前在kafka主题中提取的记录。

请告知如何处理这种情况。

连接框架中对此有任何支持吗？ 或至少提供一些参考会很有帮助。

Answer 1

SinkConnector偏移量在Kafka的_consumer_offsets主题中与您的连接器名称相对应，当SinkConnector重新启动时，它将从其存储在_consumer_offsets主题中的先前偏移量中选择来自Kafka服务器的消息。

因此，您不必担心管理偏移量。 这一切都是由Connect框架中的工作人员完成的。 在您的情况下，您只需重新启动接收器连接器即可。 如果消息是通过源连接器推送到Kafka的，并且在Kafka中可用，则接收器连接器可以随时启动/重新启动。