將數據集從PC上傳到Google Cloud Platform上的虛擬機實例的最佳方法

Question

我有一個大型數據集（約50 GB）用於深度學習實驗。 我將在Google Cloud Platform提供的虛擬機實例上訓練我的網絡。 因此，我需要將數據集上傳到虛擬機。 我嘗試通過以下命令使用gcloud控制台：

gcloud compute scp --recurse C:\Users\Lenovo\Desktop\dataset root@instance-1:/home/Lenovo/dataset

它可以工作，但是大約需要50個小時才能結束。

有什么辦法可以使這個過程更快？

我還有一個Google雲端硬盤存儲庫，用於存儲數據集。 可以直接從Google雲端硬盤下載到我的虛擬機中嗎？ 我的虛擬機具有Ubuntu 18.04 LTS版本的操作系統。

Answer 1

所花費的時間主要取決於網絡上最慢的鏈接。 讓我們假設托管您的GCP虛擬機（計算引擎）的網絡不會這樣做。 您的Google雲端硬盤也可能不是最慢的。 從運行gcloud的本地計算機的路徑很可能會成為瓶頸。 我建議您在GCP上登錄到您的VM，然后從您知道的數據中下載數據，然后從雲端硬盤上進行下載。

似乎有許多方法可以實現這一目標。

1. 在GCP機器上運行VNC這將為您提供從本地PC訪問但從GCP呈現的GUI環境。 從那里，您可以安裝Chrome（在GCP上）並訪問雲端硬盤並啟動下載。

2. 下載驅動器訪問工具替代方法是安裝驅動器數據訪問工具。 這是我在Google搜索中找到的示例，但其他示例也可以使用：

https://www.howtoforge.com/tutorial/how-to-access-google-drive-from-linux-gdrive/

按照那里的食譜，將驅動器文件下載到GCP上。

如果您需要進一步的大數據工作，請考慮將數據放在Google Cloud Storage上，然后將使用其他選項。

請參閱傳輸大數據集 。