在 GCP Dataflow/Apache Beam Python SDK 中，DoFn.process 是否有时间限制？

Question

在 GCP Dataflow 上运行的 Apache Beam Python SDK 中，我有一个需要很长时间的DoFn.process 。 由于不那么重要的原因，我的 DoFn 花了很长时间——由于我无法控制的要求，我不得不接受它们。 但是，如果您必须知道，它正在对外部服务进行网络调用，这需要很长时间（几秒钟），并且它正在处理来自先前GroupByKey的多个元素 - 导致DoFn.process调用需要几分钟。

无论如何，我的问题是： DoFn.process调用的运行时长度是否有时间限制？ 我问是因为我看到的日志如下所示：

WARNING 2023-01-03T13:12:12.679957Z ReportProgress() took long: 1m49.15726646s
WARNING 2023-01-03T13:12:14.474585Z ReportProgress() took long: 1m7.166061638s
WARNING 2023-01-03T13:12:14.864634Z ReportProgress() took long: 1m58.479671042s
WARNING 2023-01-03T13:12:16.967743Z ReportProgress() took long: 1m40.379289919s
2023-01-03 08:16:47.888 EST Error message from worker: SDK harness sdk-0-6 disconnected.
2023-01-03 08:21:25.826 EST Error message from worker: SDK harness sdk-0-2 disconnected.
2023-01-03 08:21:36.011 EST Error message from worker: SDK harness sdk-0-4 disconnected.

在我看来，Apache Beam Fn API Progress Reporting 机器认为我的DoFn.process function 卡住了，没有取得任何进展，最终终止了“无响应”的 SDK Harness。 发生这种情况是因为我的DoFn.process太低而无法处理单个元素吗？ 如果是这样，我如何向 Dataflow Worker Engine 报告进度以让它知道我的DoFn.process仍然存在？

Answer 1

DoFn.process 调用的运行时长度没有时间限制。 但是有一个相关的事情。 Dataflow 上运行的管道会定期报告进度，如果此进度报告长时间失败，Dataflow 服务将假定相关 worker 失败并取消分配给这些 worker 的工作。

在 Python 中，如果由于某种原因未安排进度报告线程（例如，长时间保持 GIL，或消耗所有 CPU 的东西），可能会发生这种情况。 有关这方面的更多信息，请参阅https://cloud.google.com/dataflow/docs/guides/common-errors （以“在 Python 管道中，当工作人员使用过多 CPU 时可能会发生此错误”开头的段落。）。