有没有办法使用 GCP 资源将数据从 Google Cloud Storage 传输到 Azure Blob Storage？

Question

我想将 csv 文件从 Google Cloud 存储移动到 Azure Blob 存储。 我知道可以使用 Azure 数据工厂来实现。 我希望在 Google Cloud 端而不是 Azure 端（使用 Azure 数据工厂）启动和计费运动，即数据推送应该从 GCP 端启动，而不是从 Azure 端拉取。

Answer 1

您提到的直接可靠的方法是使用 Azure 数据工厂，GCP 不提供任何工具来将数据移动到另一个服务提供商。

无代码选项可以是使用带有Azure Fuse 存储、 GCP Fuse 存储的计算引擎 VM 并使用rsync命令将内容从 GCP 复制到 AZure

[GCP Bucket] ----- Fuse Storage --- > [GCE VM] ---- Fuse Storage ---> [Azure]

GCE VM 需要与存储区位于同一区域，以改善延迟并避免出口流量费用，使用此选项，您只需按云存储的网络出口和VM计费。

在这两种情况下，Cloud Storage 和 Blob 存储都不会产生与入口流量相关的任何费用。

Answer 2

您可以使用 azcopy 工具，如下所示：

azcopy cp --recursive=true "<-source url->" "<-destination url->"

Answer 3

这可以通过编程方式完成。 您可以编写一个 GKE 微服务来将数据从云存储移动到 azure blob 存储 -

https://medium.com/@irena-sayv/transfer-file-from-google-cloud-storage-to-azure-blob-storage-programmatically-25f9d5905b61