Flink 提交到 kafka 需要比检查点间隔更长的时间

Question

我无法理解为什么我的 flink 工作提交给 kafka 消费者需要这么长时间。 我有一个 1s 的检查点，并出现以下警告。 我目前使用的是 1.14 版。

Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity Committing offsets to Kafka takes longer than the checkpoint interval. Skipping commit of previous offsets because newer complete checkpoint offsets are available. This does not compromise Flink's checkpoint integrity与我们运行的一些 Kafka 流相比，提交延迟大约需要 100 毫秒。 你能为我指出正确的方向吗？ 我可以查看任何指标吗？

我试图找到有助于调试的指标

Answer 1

由于 Flink 不断提交偏移量（有时在运行时间较长的提交情况下会重叠），与网络相关的信号和其他导致检查点花费更长时间的外部问题可能会导致您所看到的情况（后续检查点在前一个的成功）。

您可能想要探索一些与检查点相关的有用指标，它们可能有助于确定发生了什么：

• lastCheckpointDuration - 完成最后一个检查点所花费的时间（以毫秒为单位）。
• lastCheckpointSize - 最后一个检查点的检查点大小（以字节为单位），如果启用了增量检查点或变更日志，则此指标可能与 lastCheckpointFullSize 不同。

监视这些以及其他一些检查点指标，以及任务/作业管理器日志，可能会帮助您拼凑出一个故事，了解导致较慢提交花费这么长时间的原因。

如果您发现您不断遇到这种情况，您可能会考虑调整作业的检查点配置以容忍这些更长的持续时间。