Google 雲存儲與 aws s3 分段上傳的兼容性

Question

好的，我有一個使用 amazon s3 multipart 的工作應用程序，它們使用 CreateMultipart、UploadPart 和 CompleteMultiPart。

現在我們正在遷移到谷歌雲存儲，我們遇到了多部分的問題。 據我了解，谷歌不支持 s3 multipart，從這里獲得信息Google Cloud Storage support of S3 multipart upload 。

所以我看到谷歌有最接近的方法 Compose https://cloud.google.com/storage/docs/composite-objects ，我只是上傳不同的對象，然后發送請求來組合它們，或者我可以使用uploadType=multipart https： //cloud.google.com/storage/docs/json_api/v1/how-tos/upload#resumable ，但這似乎與s3 multipart完全不同。 並且有可恢復上傳https://cloud.google.com/storage/docs/resumable-uploads ，這似乎允許上傳文件塊，但沒有完整的多部分。

最好的選擇是什么？ 一些服務已經使用 CreateMultiPart、UploadPart、CompletePart，我需要為這些服務編寫“適配器”，以使它們與谷歌雲存儲兼容。

Answer 1

更新：以下答案不再正確。 GCS 確實支持分段上傳： https://cloud.google.com/storage/docs/xml-api/post-object-multipart

你是對的。 Google Cloud Storage 目前不支持分段上傳。

分段上傳的主要好處是允許多個流從一台或多台機器並行上傳，並且允許部分上傳失敗不會破壞整個上傳。 使用 GCS 獲得相同好處的最佳方法是將這些部分作為單獨的對象上傳，然后使用 Compose 將它們組合成最終的 object。 事實上，這正是 gsutil 命令行實用程序在並行上傳時所做的事情。

如果您想按順序在單個 stream 中上傳單個 object，並且您希望能夠在連接丟失時恢復，則可恢復上傳是一個很好的工具。

“uploadtype=multipart”上傳有點不同。 它們是一種在單個上傳操作中指定對象的完整元數據及其數據的方法，使用 HTTP 多部分請求。