在 GCP 数据流使用 apache beam 完成工作后，有什么方法可以进行处理吗？

Question

在 GCP 数据流状态完成/完成后，有什么方法可以进行后期处理。 我有数据流从 GCP 存储中批量读取文件并执行一些外部 api 调用以进行转换并写回另一个文件的过程。 在所有批次都被转换/处理后，我需要做一些额外的处理。 有没有办法做到这一点？ 我正在使用 Apache Beam 和模板来运行 GCP 数据流。

Answer 1

是的。 有两个选项需要提及：

1. 您可以使用 Cloud Composer 来编排 Dataflow 作业以及之前和之后的其他操作。 请参阅这篇文章。
2. 如果您通过代码启动您的作业，您可以调用PipelineResult.waitUntilFinish() ，然后再运行其他代码。