有沒有一種簡單、有效的方法可以將 5000 多張圖片從谷歌存儲下載（打開）到 python 筆記本？

Question

我有一個在谷歌 AI 平台上運行的 jupyter notebook (python)。 為了從我正在使用的谷歌存儲中將文件讀入筆記本：

blob = storage.blob.Blob(filename,bucket)
content = blob.download_to_filename(filename)

是否有一種簡單的方法可以指向存儲桶目錄並使讀取 5K+ 圖像對管道更加輕松、高效和透明？ 謝謝，N

Answer 1

最簡單的方法是使用具有並行性的gsutil命令：

!gcloud -m cp gs://<your bucket>/* /<your local path>/

如果圖像也在子目錄中，則添加-r 。 這里有一個視頻

如果下載仍然很慢，請查看您的筆記本電腦的 vCPU 數量。 每個 vCPU 最多 8 個 vCPU 的帶寬限制為 2Gbps。

為了再次提高性能，請注意熱點。 確實，如果您的圖像名稱過於相似，那么它就是為它服務的同一個分片，並且您有爭用。 這里有一個描述這個的視頻

但是，通常不需要將所有圖像都保存在 Jupiter Notebook 中。 在專用服務器上運行之前，您必須在一小部分數據上執行/驗證 model 並真正訓練您的 model。