OSError: [Errno 22] 使用 torch.load 时参数无效

Question

我正在尝试加载我的数据集，它之前可以正常工作，但突然间这个错误开始出现。

当我尝试像这样加载它时：

  train_set = Database_load(root = "C:\\Users\\Public\\PhysNet\\",train = "train.pth")

它给了我以下错误：

  File "C:\Users\Public\Lucas\PhysNet\modt.py", line 185, in <module>
    train_set = Database_load(root = "C:\\Users\\Public\\Lucas\\PhysNet\\",train = "train.pth")

  File "C:\Users\Public\Lucas\PhysNet\database_load.py", line 21, in __init__
    self.data, self.y1, self.y2= torch.load(os.path.join(self.root, self.train))

  File "C:\ProgramData\Anaconda3\envs\project\lib\site-packages\torch\serialization.py", line 386, in load
    return _load(f, map_location, pickle_module, **pickle_load_args)

  File "C:\ProgramData\Anaconda3\envs\project\lib\site-packages\torch\serialization.py", line 580, in _load
    deserialized_objects[key]._set_from_file(f, offset, f_should_read_directly)

OSError: [Errno 22] Invalid argument

进入路径时，我也尝试执行以下操作，但没有奏效：

  train_set = Database_load(root = r"C:\\Users\\Public\\PhysNet\\",train = "train.pth")

  train_set = Database_load(root = r'C:/Users/Public/PhysNet/',train = 'train.pth')

有关如何解决此问题的任何建议？

Answer 1

这是由PR#20900引起的已知问题（ Issue#26998和Issue# ）。 出现问题是因为您尝试加载大于 2GB 的文件，并且它特定于 Windows，其中“ 32 位和 64 位系统的sizeof(long)=4 ”。 此问题已由PR# 27069 修复，仅在 PyTorch 1.3+ 中可用。 因此，要解决此问题，请升级您的 PyTorch 版本。