Google Colaboratory：OSError：[Errno 5] 輸入/輸出錯誤

Question

我正在使用 Google Colaboratory，並安裝 Google Drive。 當我訪問 csv 文件時，會出現以下錯誤：

OSError：[Errno 5] 輸入/輸出錯誤。

這在以前沒有發生過。

如何像以前一樣訪問 csv 文件？

我試過這個，但沒有奏效：

將 google colab 與 google drive 一起使用時出現輸入/輸出錯誤

這發生在執行以下代碼之后。

for segment_id in tqdm(range(segment_num)):
  with h5py.File(os.path.join(INPUT_PATH, "train.h5"), "r") as f:
    train_answers.append(f['time_to_failure'][segment_id*segment_interval + SEGMENT_LENGTH])

tqdm 條進度到 37%，然后給出以下錯誤。

OSError：無法打開文件（文件讀取失敗：時間 = Thu May 2 14:14:09 2019，文件名 = './drive/My Drive/Kaggle/LANL-Earthquake-Prediction/input/train.h5'，文件描述符= 74，errno = 5，錯誤消息 = '輸入/輸出錯誤'，buf = 0x7ffc31926d00，總讀取大小 = 8，此子讀取的字節數 = 8，實際讀取的字節數 = 18446744073709551615，偏移量 = 0）

從那時起，無法從 Google Colaboratory 讀取 Google Drive 上的大型文件（如 train.csv(9GB)）。 它給出了以下錯誤。

OSError: [Errno 5] 輸入/輸出錯誤

有沒有人有同樣的問題？

有誰知道如何解決這個問題？

Answer 1

谷歌設置的配額在使用 Colab 時不需要顯示。 我遇到了同樣的問題。 基本上，一旦超過限制，您就會得到獨立於文件或您正在執行的操作的 [Errno 5] 輸入/輸出錯誤。

這個問題似乎已經解決了，因為我要求增加有關存儲的配額（每個我們總共限制為 1 TB）。 您可以通過訪問此頁面並單擊配額來訪問配額頁面： https ://cloud.google.com/docs/quota

如果您不要求增加配額，則可能需要等待 7-14 天，直到您的使用量重新設置為 0 並且可以使用全部配額。

我希望這有幫助！

Answer 2

我遇到了同樣的錯誤（在遷移學習的密集測試期間）。 根據谷歌的說法，原因可能是小文件的 I/O 操作過多，或者是由於共享和更密集使用的資源 - 每一個原因都與谷歌驅動器的使用有關。 大多數情況下，應在 1 天后刷新配額。

您也可以嘗試另一種解決方案（對於像我這樣不耐煩的用戶） - 將您的資源（在我的情況下是包含文件夾train和圖像validation的壓縮文件夾data ）作為 zip 文件復制到您的 Google 驅動器，然后通過以下方式將其直接解壓縮到 Colab VM 中用於：

!unzip -qq '/content/grive/My Drive/CNN/Datafiles/data.zip'  

然后，您可以從文件夾 /content/data/... 訪問數據（並告別 I/O 錯誤；））