将多个文件名从Cloud函数传递到Dataflow

Question

如前一篇文章所述，我试图将单个文件的名称从Cloud Function传递到Dataflow。 如果我一次在GCS存储桶中上传多个文件怎么办？ 是否可以使用event.data捕获单个Cloud Function并发送所有文件名？ 如果没有其他方法，我可以在Dataflow程序中获取这些文件名吗？

谢谢

Answer 1

要在单个管道中运行此代码，您需要创建一个自定义源，该源带有一个文件名列表（或单个字符串，该字符串是连接的文件名，等等），然后将该源与适当的运行时PipelineOption一起使用。

Answer 2

这种方法的挑战在于，只有客户端（大概）知道有多少文件以及它们何时全部完成上传。 发送到Cloud Functions的事件将至少一次出现（这意味着您可能偶尔会收到多个事件），并且事件可能会发生故障。 即使Cloud Function以某种方式知道了预期的文件数量，您也可能会发现由于竞争条件检查Cloud Storage而难以保证仅一个Cloud Function触发了数据流（例如，多个功能可能“认为”它们是最后一个） ）。 Cloud Storage（AFAIK）中没有“批处理”语义会导致单个函数调用（存在批处理API，但是事件是从单个“对象”更改发出的，因此即使批写入N个文件也将导致-最少N个事件）。

一旦上传完所有文件，最好由客户端手动触发“云功能”或“数据流”。 您可以直接通过HTTP触发Cloud Function，也可以将一个哨兵值写入Cloud Storage以触发函数。

另一种选择是将文件打包为来自客户端的单个上传文件（例如，将它们压缩为tar），但是我可能有理由认为这对于您的用例而言没有意义。