從 Google Cloud Storage 中的目錄並行上傳文件

Question

我正在嘗試編寫一個 Python 實用程序 function，它將文件從目錄上傳到目標文件夾。 雖然，文檔為單個文件提供了一個帶有blob.upload_from_filename()的片段，然后它跳轉到gsutil -m多個文件的解決方案。

到目前為止，我只找到了 2 個次優解決方案：

1. 單文件操作的簡單迭代
2. 使用subprocess進程並對gsutil命令進行硬編碼。

這個問題有什么優雅的解決方案還是我應該使用 Python 的multiprocessing ？

Answer 1

如果其他人正在尋找這個，它已經包含在帶有 transfer_manager 的 google-cloud-storage 的最新版本中

這是一個示例： https://github.com/googleapis/python-storage/blob/9998a5e1c9e9e8920c4d40e13e39095585de657a/samples/snippets/storage_transfer_manager.py