将 s3 数据迁移到谷歌云存储

Question

我在 Google App Engine 上部署了一个 python web 应用程序。

我需要获取存储在 Amazon S3 上的日志文件并将其加载到 Google Cloud Storage 中。 一旦它在 Google Cloud Storage 中，我可能需要执行一些转换并最终将数据导入 BigQuery 进行分析。

我尝试使用 gsutil 作为某种概念证明，因为 boto 是 gsutil 的引擎盖，我想在我的项目中使用 boto。 这没有用。

我想知道是否有人设法在两个云之间直接传输文件。 如果可能的话，我想看一个简单的例子。 最后，这项任务必须通过在 GAE 上执行的代码来完成。

Answer 1

根据此主题 ，您可以使用gsutil将数据从S3流式传输到Google云端存储，但每个字节仍需要两次跳转：S3到您的本地计算机，然后您的计算机到GCS。 但是，由于您正在使用App Engine，因此您应该可以从S3中提取并存入GCS。 除了App Engine是中介之外，它与上面的进展相同，即每个字节从S3传输到您的应用程序，然后传输到GCS。 您可以使用boto作为推送端，使用Google Cloud Storage API作为推送端。

Answer 2

Google允许您将整个存储桶从S3导入存储服务：

https://cloud.google.com/storage/transfer/getting-started

您可以在源存储桶上设置文件筛选器以仅导入所需的文件，或“目录”（即具有特定前缀的任何内容）。

Answer 3

我不知道有任何云提供商提供用于将数据传输到竞争云提供商的API。 云提供商没有动力帮助您将数据转移到竞争对手。 您几乎肯定必须将数据读取到中间计算机，然后将其写入Google。

Answer 4

GCP 不仅支持从 S3 传输，还支持所有具有 S3 兼容 API 的存储。

https://cloud.google.com/storage-transfer/docs/create-transfers https://cloud.google.com/storage-transfer/docs/s3-compatible