谷歌雲存儲從 Python 生成器上傳

Question

我有一個 Python 生成器，它將yield大量未知數量的字節數據。 我想將 stream output 到 GCS，而不先緩沖到磁盤上的文件。

雖然我確信這是可能的（例如，我可以創建一個gsutil cp - <...>的子進程並將我的字節寫入其標准輸入），但我不確定推薦/支持的方式和文檔給出上傳本地文件的例子。

我應該如何正確地做到這一點？

Answer 1

BlobWriter class 使這更容易一些：

bucket = storage_client.bucket('my_bucket')
blob = bucket.blob('my_object')
writer = BlobWriter(blob)

for d in your_generator:
  writer.write(d)

writer.close()