如何将 pandas 数据添加到 Google Cloud Storage 中现有的 csv 文件中？

Question

我正在使用 pandas 将文件保存到我的谷歌云存储上的 csv。 问题是当我重写数据时我的文件被覆盖了。

    url = gs://mybucket/my.csv
    df.to_csv(url,mode="a", index=False, header=False)

但是，我已将写入模式指定为“a”，以便之后添加而不重写文件。

非常感谢你的帮助：）

Answer 1

Google Cloud Storage 对象是不可变的。 这意味着您无法修改 object 一旦创建。 您必须实现读取-修改-写入并替换现有的 object。

Object 不变性

对象是不可变的，这意味着上传的 object 在其整个存储生命周期内无法更改。 对象的存储生命周期是从成功创建 object（例如上传）到成功删除 object 之间的时间。 实际上，这意味着您不能对对象进行增量更改，例如 append 操作或截断操作。 但是，可以替换存储在 Cloud Storage 中的对象，并且这样做是原子性的：在新的上传完成之前，旧版本的 object 将提供给读者，在上传完成后，新版本的 object 是为读者服务。 因此，单个替换操作只是标志着一个不可变对象的生命周期的结束和一个新的不可变对象的生命周期的开始。

Google 还支持 Compose API。 这支持组合两个或更多对象以生成新的 Cloud Storage object。

组合对象

With the Compose API, you could upload the append data to a temporary object, then combine the original object with the append object. 这将模拟附加到文件。