Google 云存储与 aws s3 分段上传的兼容性

Question

好的，我有一个使用 amazon s3 multipart 的工作应用程序，它们使用 CreateMultipart、UploadPart 和 CompleteMultiPart。

现在我们正在迁移到谷歌云存储，我们遇到了多部分的问题。 据我了解，谷歌不支持 s3 multipart，从这里获得信息Google Cloud Storage support of S3 multipart upload 。

所以我看到谷歌有最接近的方法 Compose https://cloud.google.com/storage/docs/composite-objects ，我只是上传不同的对象，然后发送请求来组合它们，或者我可以使用uploadType=multipart https： //cloud.google.com/storage/docs/json_api/v1/how-tos/upload#resumable ，但这似乎与s3 multipart完全不同。 并且有可恢复上传https://cloud.google.com/storage/docs/resumable-uploads ，这似乎允许上传文件块，但没有完整的多部分。

最好的选择是什么？ 一些服务已经使用 CreateMultiPart、UploadPart、CompletePart，我需要为这些服务编写“适配器”，以使它们与谷歌云存储兼容。

Answer 1

更新：以下答案不再正确。 GCS 确实支持分段上传： https://cloud.google.com/storage/docs/xml-api/post-object-multipart

你是对的。 Google Cloud Storage 目前不支持分段上传。

分段上传的主要好处是允许多个流从一台或多台机器并行上传，并且允许部分上传失败不会破坏整个上传。 使用 GCS 获得相同好处的最佳方法是将这些部分作为单独的对象上传，然后使用 Compose 将它们组合成最终的 object。 事实上，这正是 gsutil 命令行实用程序在并行上传时所做的事情。

如果您想按顺序在单个 stream 中上传单个 object，并且您希望能够在连接丢失时恢复，则可恢复上传是一个很好的工具。

“uploadtype=multipart”上传有点不同。 它们是一种在单个上传操作中指定对象的完整元数据及其数据的方法，使用 HTTP 多部分请求。