Spark runner 上的 Apache Beam：为什么在 Streaming 作业中调度延迟会增加？

Question

我定义了一个从 Kafka 主题读取的管道，执行一些步骤并将结果发布到输出 Kafka 主题。

当我在直接运行模式下测试它时，一切都很好。

但是，当我将梁应用程序提交给 spark 时，我的行为变得很严重： - 调度延迟增加。

经过长时间的调查，我发现批次的持续时间太小（500 毫秒）。

按照这个链接

Spark Runner 的管道选项

我在 spark-submit 中添加了这个选项：

--batchIntervalMillis=2000

现在一切恢复正常：

不要犹豫，分享你的意见。 问候，阿里