有没有办法将 torch.nn.DataParallel 与 CPU 一起使用？

Question

我正在尝试更改一些 PyTorch 代码，以便它可以在 CPU 上运行。

该模型是用torch.nn.DataParallel()训练的，所以当我加载预训练模型并尝试使用它时，我必须使用nn.DataParallel()我目前正在这样做：

device = torch.device("cuda:0")
net = nn.DataParallel(net, device_ids=[0])
net.load_state_dict(torch.load(PATH))
net.to(device)

但是，在我将手电筒设备切换到 cpu 后，如下所示：

device = torch.device('cpu')
net = nn.DataParallel(net, device_ids=[0])
net.load_state_dict(torch.load(PATH))
net.to(device)

我收到此错误：

File "C:\My\Program\win-py362-venv\lib\site-packages\torch\nn\parallel\data_parallel.py", line 156, in forward
    "them on device: {}".format(self.src_device_obj, t.device))
RuntimeError: module must have its parameters and buffers on device cuda:0 (device_ids[0]) but found one of them on device: cpu

我假设它仍在寻找 CUDA，因为这是device_ids的设置，但有没有办法让它使用 CPU？ 来自 PyTorch 存储库的这篇文章让我觉得我可以，但它没有解释如何。

如果没有，还有其他方法可以在 CPU 上使用通过 DataParallel 训练的模型吗？

Answer 1

当您使用torch.nn.DataParallel()它会在模块级别实现数据并行。

根据文档：

在运行此 DataParallel 模块之前，并行化模块必须在 device_ids[0] 上具有其参数和缓冲区。

因此，即使您正在执行.to(torch.device('cpu'))它仍然希望将数据传递给 GPU。

但是，由于DataParallel是一个容器，因此您可以通过执行以下操作绕过它并仅获取原始模块：

net = net.module.to(device)

现在它将访问您在应用DataParallel容器之前定义的原始模块。