kafka connect的debezium source connector无法产生到kafka怎么办

Question

我使用 debezium 源连接器将 mongoDB 与 SMT 和 AvroConverter 连接起来。

当由于兼容性而面临序列化错误时，连接器是跳过错误记录，还是重试发送错误记录？

我设置了error.tolerance = 'all' （应该是errors.tolerance = 'all' ）。 我认为连接器不会将偏移量提交回 kafka，因此连接器会不断重试发送记录，对吗？

Answer 1

如果我理解正确，您可以配置重试行为，例如：

# retry for at most 10 minutes times waiting up to 30 seconds between consecutive failures
errors.retry.timeout=600000
errors.retry.delay.max.ms=30000

如果达到失败的重试限制，则使用容错限制来确定是否应跳过此记录（ errors.tolerance=all ），或者是否要errors.tolerance=none任务（ errors.tolerance=none ）。

KIP-298中的更多详细信息：Connect 中的错误处理。