Google Storage Transfer Service 的成本效益

Question

我需要将包含大量文件（800k 文件，400GB）的 aws s3 存储桶备份到谷歌云存储。 Google Storage Transfer Service 似乎是一个简单的解决方案，但我对成本效益有一些疑问。

第一次它将下载整个 s3 存储桶：

• aws 上的 400 GB 传出流量
• 800k 在 aws 上获取请求
• 800k 向谷歌存储提出请求

第二次及以后呢？

它的费用与第一次相同还是只下载更改的/新文件？

Answer 1

根据使用控制台创建和管理数据传输中的文档：“默认情况下，存储传输服务仅在源版本与接收器版本不同时覆盖对象。”

因此，第二次的成本将是 S3 和 GCS 存储桶上的列表操作的成本（需要比较以查看更改的内容），加上更改的 GET 和 PUT。 我相信对象通常一次列出 1,000 个（根据每个服务中对象列表的最大页面大小）。 因此，如果没有对象更改，您可以预期在您的场景中，每次后续传输的成本大约为 S3 中的 800 个列表操作和 GCS 中的 800 个列表操作。

Answer 2

进入 gcp 是免费的。 因此，每次都创建一个新备份，并且只保留最新的 5 个（或其他）。 这样您就不必担心覆盖等问题，而且您可以将任何文件回滚到 N 个版本之前。