Google Colaboratory：OSError：[Errno 5] 输入/输出错误

Question

我正在使用 Google Colaboratory，并安装 Google Drive。 当我访问 csv 文件时，会出现以下错误：

OSError：[Errno 5] 输入/输出错误。

这在以前没有发生过。

如何像以前一样访问 csv 文件？

我试过这个，但没有奏效：

将 google colab 与 google drive 一起使用时出现输入/输出错误

这发生在执行以下代码之后。

for segment_id in tqdm(range(segment_num)):
  with h5py.File(os.path.join(INPUT_PATH, "train.h5"), "r") as f:
    train_answers.append(f['time_to_failure'][segment_id*segment_interval + SEGMENT_LENGTH])

tqdm 条进度到 37%，然后给出以下错误。

OSError：无法打开文件（文件读取失败：时间 = Thu May 2 14:14:09 2019，文件名 = './drive/My Drive/Kaggle/LANL-Earthquake-Prediction/input/train.h5'，文件描述符= 74，errno = 5，错误消息 = '输入/输出错误'，buf = 0x7ffc31926d00，总读取大小 = 8，此子读取的字节数 = 8，实际读取的字节数 = 18446744073709551615，偏移量 = 0）

从那时起，无法从 Google Colaboratory 读取 Google Drive 上的大型文件（如 train.csv(9GB)）。 它给出了以下错误。

OSError: [Errno 5] 输入/输出错误

有没有人有同样的问题？

有谁知道如何解决这个问题？

Answer 1

谷歌设置的配额在使用 Colab 时不需要显示。 我遇到了同样的问题。 基本上，一旦超过限制，您就会得到独立于文件或您正在执行的操作的 [Errno 5] 输入/输出错误。

这个问题似乎已经解决了，因为我要求增加有关存储的配额（每个我们总共限制为 1 TB）。 您可以通过访问此页面并单击配额来访问配额页面： https ://cloud.google.com/docs/quota

如果您不要求增加配额，则可能需要等待 7-14 天，直到您的使用量重新设置为 0 并且可以使用全部配额。

我希望这有帮助！

Answer 2

我遇到了同样的错误（在迁移学习的密集测试期间）。 根据谷歌的说法，原因可能是小文件的 I/O 操作过多，或者是由于共享和更密集使用的资源 - 每一个原因都与谷歌驱动器的使用有关。 大多数情况下，应在 1 天后刷新配额。

您也可以尝试另一种解决方案（对于像我这样不耐烦的用户） - 将您的资源（在我的情况下是包含文件夹train和图像validation的压缩文件夹data ）作为 zip 文件复制到您的 Google 驱动器，然后通过以下方式将其直接解压缩到 Colab VM 中用于：

!unzip -qq '/content/grive/My Drive/CNN/Datafiles/data.zip'  

然后，您可以从文件夹 /content/data/... 访问数据（并告别 I/O 错误；））