如何使用 gsutil 通過 http 鏈接從谷歌雲存儲下載到 AWS 實例或 s3 存儲桶？

Question

我有一個谷歌雲存儲下載 http 鏈接，我想直接將文件下載到 AWS 實例或 s3 存儲桶。 我嘗試過 gsutil cp 或 rsync，但它們不支持將憑據作為參數發送。
鏈接在這里。

https://storage.googleapis.com/<FILE PATH>?x-goog-signature=<SIGNATURE>&x-goog-algorithm=GOOG4-RSA-SHA256&x-goog-credential=<CREDENTIAL>goog4_request&x-goog-date=<DATE>Z&x-goog-expires=<EXPIRES>&x-goog-signedheaders=host

Answer 1

正如@jarmod 所提到的，一旦擁有可訪問的 URL，您應該能夠使用wget或curl等工具從 GCS 下載對象，然后將其上傳到 Amazon S3。

但是，GCP 也提供了其他方法來實現這一點。 例如，您可以按照最初的預期，通過運行gsutil cp或gsutil rsync使用gsutil工具與 Amazon S3 進行交互。 為此，您需要將您的 Amazon S3 憑證添加到 gsutil 的.boto配置文件中。

Answer 2

如果您手頭有一個簽名 URL（看起來像），那么您不需要提供任何憑據（簽名 URL 包括所需的一切）並且您不需要使用 gsutil 或 rsync。

您可以使用 HTTP 客戶端，例如 curl 或 wget。 例如：

wget -O filename.zip "https://the-signed-url-here"

請務必引用簽名的 URL，如上所示，因為其中將包含& ( & ) 字符，並且許多操作系統和外殼程序以特殊方式處理這些字符（通常在后台啟動）。