直接從url將大數據下載到Google Cloud Storage Bucket

Question

我想將大型數據集直接從網址“ https”下載到Google雲存儲（存儲桶）。

我已使用gsutil stream命令。 通過谷歌雲殼

curl -L https：//../../..velodyne.zip | gsutil cp-gs：//###/##/velodyne.zip

結果是

我們在您的Google Cloud Shell會話中檢測到過多的出口網絡流量。 中斷或減少此流量，否則您的會話將被終止。

Answer 1

這是因為您要使用curl下載到本地環境（雲外殼），然后將其發送到GCS。

完成此操作的方法是使用存儲傳輸服務 。

有一種方法可以為傳輸服務提供一個URL列表 ，該服務本身會將所有數據下載到存儲桶中。

Answer 2

1. 在本地計算機上安裝SDK
2. 然后從那里運行命令

它將從本地計算機下載文件，然后將其用作gsutil命令的輸入。 您將無法使用Cloud Shell進行此操作，如果文件太大，可能會遇到“設備上沒有剩余空間”的信息。

您在對Jofre的帖子的評論中還提到您已經嘗試了Storage Transfer Service，但失敗了。 請分享錯誤，以便我們查看失敗原因，然后也許我們可以為您提供幫助。