在 PyTorch 中，当为 GPU 张量分配新值时是否释放了 GPU 内存？

Question

当 PyTorch 中的 Cuda 变量被赋值时，它又变成了 CPU 变量（如下面的代码所示）。 在这种情况下，之前 GPU 上变量所持有的内存是否会自动释放？

import torch

t1 = torch.empty(4,5)

if torch.cuda.is_available():
  t1 = t1.cuda()

print(t1.is_cuda)

t1 = torch.empty(4,5)
print(t1.is_cuda)

上面代码的输出是：

True
False

Answer 1

在python中，只要没有剩余的引用，对象就会被释放。 由于您分配t1来引用一个全新的张量，因此不再引用原始 GPU 张量，因此张量被释放。 也就是说，当 PyTorch 被指示释放 GPU 张量时，它往往会将该 GPU 内存缓存一段时间，因为通常情况下，如果我们使用过一次 GPU 内存，我们可能会想要再次使用一些，并且 GPU 内存分配相对较慢. 如果要强制清除此 GPU 内存缓存，可以使用torch.cuda.empty_cache 。 使用它不会直接增加单个 PyTorch 实例中可用的 GPU 内存，因为 PyTorch 会自动调用它以尝试避免 GPU 内存不足错误。

重申一下，GPU 张量实际上并没有“变成”CPU 张量。 在python中，变量名是对对象的引用。 你的代码真正做的是分配t1来引用一个新的 CPU 张量对象。 在内部，python 计算每个对象的引用数。 当该计数变为零时，该对象立即被释放。

警告（引用循环）：在无法访问引用循环的情况下，引用计数会失败。 当对象包含对另一个的引用但在循环中没有任何对象的引用是可达的时，就会出现无法访问的引用循环。 为了解决这个问题，python 使用了一个间歇性执行的垃圾收集模块。 该模块使用更复杂的算法来检测和释放属于不可达引用循环的对象。 在这些情况下，当循环变得不可访问时，不一定会释放内存，而是会在内部垃圾收集器被激活后被释放。 这会自动且相对不可预测地发生。 如果需要，可以使用 python 的内置gc垃圾收集接口查询、配置或手动执行垃圾收集器。

基于之前的讨论，如果您真的想确保在 PyTorch 中释放无法访问的 GPU 内存（即使在无法访问的引用周期的情况下），您可以使用

import gc
gc.collect()
torch.cuda.empty_cache()