如何將 pandas 數據添加到 Google Cloud Storage 中現有的 csv 文件中？

Question

我正在使用 pandas 將文件保存到我的谷歌雲存儲上的 csv。 問題是當我重寫數據時我的文件被覆蓋了。

    url = gs://mybucket/my.csv
    df.to_csv(url,mode="a", index=False, header=False)

但是，我已將寫入模式指定為“a”，以便之后添加而不重寫文件。

非常感謝你的幫助：）

Answer 1

Google Cloud Storage 對象是不可變的。 這意味着您無法修改 object 一旦創建。 您必須實現讀取-修改-寫入並替換現有的 object。

Object 不變性

對象是不可變的，這意味着上傳的 object 在其整個存儲生命周期內無法更改。 對象的存儲生命周期是從成功創建 object（例如上傳）到成功刪除 object 之間的時間。 實際上，這意味着您不能對對象進行增量更改，例如 append 操作或截斷操作。 但是，可以替換存儲在 Cloud Storage 中的對象，並且這樣做是原子性的：在新的上傳完成之前，舊版本的 object 將提供給讀者，在上傳完成后，新版本的 object 是為讀者服務。 因此，單個替換操作只是標志着一個不可變對象的生命周期的結束和一個新的不可變對象的生命周期的開始。

Google 還支持 Compose API。 這支持組合兩個或更多對象以生成新的 Cloud Storage object。

組合對象

With the Compose API, you could upload the append data to a temporary object, then combine the original object with the append object. 這將模擬附加到文件。