如何从谷歌云存储在 python 上加载 .pickle 文件

Question

我的问题如下：

我在谷歌云存储的存储桶中有两个 .p（pickle 文件），我想将它们加载到我的 jupyter 笔记本上（我在 VM 实例上运行我的代码）。

我尝试了以下

url = "http:\\<localhost>\tree\storage.googleapis.com\<bucket-name>"
data_x = pickle.load(open(url + "\<filename>.p", "rb" ))

但它说没有这样的文件或目录。 我还尝试在谷歌存储上创建一个公共链接，但没有成功。 我设法以这种方式加载 .mat 文件和 .pts 文件，但似乎无法加载 .p 文件。

这里发布了一个类似的问题： pickling python objects to google cloud storage

但它已贬值，我没有设法使用答案。

这也是一个可能有用的资源： https : //pypi.python.org/pypi/google-cloud-storage

非常感谢您的帮助！！

Answer 1

对于Python >= 3.5用户：

您可以做的一件事是使用gcsfs creator 的gcsfs库，它的工作原理与open非常相似，但几乎只是替换为fs.open

示例阅读：

import gcsfs, pickle

fs = gcsfs.GCSFileSystem(project = 'my-google-project')
fs.ls('my-bucket')
>>> ['my-file.txt']
with fs.open('my-bucket/my-file.txt', 'rb') as file:
    print(pickle.load(file))

要写，这是相似的。 你只需要用wb替换rb并用dump load