如何從谷歌雲存儲在 python 上加載 .pickle 文件

Question

我的問題如下：

我在谷歌雲存儲的存儲桶中有兩個 .p（pickle 文件），我想將它們加載到我的 jupyter 筆記本上（我在 VM 實例上運行我的代碼）。

我嘗試了以下

url = "http:\\<localhost>\tree\storage.googleapis.com\<bucket-name>"
data_x = pickle.load(open(url + "\<filename>.p", "rb" ))

但它說沒有這樣的文件或目錄。 我還嘗試在谷歌存儲上創建一個公共鏈接，但沒有成功。 我設法以這種方式加載 .mat 文件和 .pts 文件，但似乎無法加載 .p 文件。

這里發布了一個類似的問題： pickling python objects to google cloud storage

但它已貶值，我沒有設法使用答案。

這也是一個可能有用的資源： https : //pypi.python.org/pypi/google-cloud-storage

非常感謝您的幫助！！

Answer 1

對於Python >= 3.5用戶：

您可以做的一件事是使用gcsfs creator 的gcsfs庫，它的工作原理與open非常相似，但幾乎只是替換為fs.open

示例閱讀：

import gcsfs, pickle

fs = gcsfs.GCSFileSystem(project = 'my-google-project')
fs.ls('my-bucket')
>>> ['my-file.txt']
with fs.open('my-bucket/my-file.txt', 'rb') as file:
    print(pickle.load(file))

要寫，這是相似的。 你只需要用wb替換rb並用dump load