pytorch - 如何对张量 \ 模型的设备 (cpu \ gpu) 设置进行故障排除

Question

我有一个手电筒 model，我正在尝试从 CPU 移植它是独立于设备的。

在创建张量时设置设备参数，或调用 model.to(device) 将完整的 model 移动到目标设备可解决部分问题，但仍有一些“遗留”张量（如前向调用期间创建的变量）

有没有办法在不使用交互式调试器的情况下检测到这些？ 诸如跟踪张量创建以允许发现在错误设备上创建的张量之类的东西？

Answer 1

你可以检查垃圾收集器：

import gc
import torch

s = torch.tensor([2], device='cuda:0')
t = torch.tensor([1])
for obj in gc.get_objects():
    if torch.is_tensor(obj):
        print(obj)

Output：

tensor([2], device='cuda:0')
tensor([1])