Apache Beam / Google Dataflow-将数据从Google数据存储导出到Cloud Storage中的文件

Question

我需要为用户请求创建文件报告。 每个用户都选择文件报告过滤器，我的应用程序应该在云存储中生成一个文件，并发送带有生成的文件链接的通知。

这是应用程序工作流程：

1. 客户选择一个过滤器并请求一个报告文件
2. 应用程序收到此请求并在数据存储区中创建一条记录，其中包含有关用户选择的过滤器的数据
3. 将新记录中的数据存储区密钥URL安全字符串存储在pubsub中。
4. 数据流管道读取存储在PubSub中的密钥。
5. 在Google云端存储中生成文件
6. 通知客户端存储文件的URL

是否可以为每个pubsub入口创建文件？

如何创建具有自定义名称的文件？

这种架构是正确的吗？

Answer 1

您的用例听起来似乎比云数据存储区更适用于Google云存储。 Google云存储用于存储不透明的文件状数据，并提供一种方法来接收有关文件更新的pubsub通知https://cloud.google.com/storage/docs/pubsub-notifications 。

但是，在这种情况下，为什么要使用pubsub和数据存储的间接寻址还不清楚。 服务器可以处理客户端请求，而是直接调用Google云存储api吗？