Apache Beam / Google Dataflow-將數據從Google數據存儲導出到Cloud Storage中的文件

Question

我需要為用戶請求創建文件報告。 每個用戶都選擇文件報告過濾器，我的應用程序應該在雲存儲中生成一個文件，並發送帶有生成的文件鏈接的通知。

這是應用程序工作流程：

1. 客戶選擇一個過濾器並請求一個報告文件
2. 應用程序收到此請求並在數據存儲區中創建一條記錄，其中包含有關用戶選擇的過濾器的數據
3. 將新記錄中的數據存儲區密鑰URL安全字符串存儲在pubsub中。
4. 數據流管道讀取存儲在PubSub中的密鑰。
5. 在Google雲端存儲中生成文件
6. 通知客戶端存儲文件的URL

是否可以為每個pubsub入口創建文件？

如何創建具有自定義名稱的文件？

這種架構是正確的嗎？

Answer 1

您的用例聽起來似乎比雲數據存儲區更適用於Google雲存儲。 Google雲存儲用於存儲不透明的文件狀數據，並提供一種方法來接收有關文件更新的pubsub通知https://cloud.google.com/storage/docs/pubsub-notifications 。

但是，在這種情況下，為什么要使用pubsub和數據存儲的間接尋址還不清楚。 服務器可以處理客戶端請求，而是直接調用Google雲存儲api嗎？