Tensorflow GPU应用程序使Jupyter Notebook内核崩溃

Question

我们正在使用多个Jupyter笔记本在GPU上运行Tensorflow应用程序。 每隔一段时间，一次运行会使笔记本崩溃，并带有简单的通知“内核已崩溃...”。

当我们将代码放入python .py文件时，stderr输出为

F tensorflow/core/kernels/conv_ops_3d.cc:369] Check failed:   stream->parent()->GetConvolveAlgorithms(&algorithms)
Aborted

在另一次运行中，stderr报告：

F tensorflow/core/common_runtime/gpu/gpu_util.cc:296] GPU->CPU Memcpy failed

问题在于tensorflow应用程序正在占用大量内存。 在Linux中，您可以运行top看看发生了什么。 在我们的机器上，我们看到每个张量流过程都吸引了0.55t ！

当您在Jupyter笔记本电脑中运行该进程并且不关闭笔记本电脑时，笔记本电脑不会释放内存。 在某个时候，您将运行无法访问内存的进程，并且该进程将死亡。 如果您在笔记本中运行，则只会告诉您内核已经死亡。

有人能帮忙吗？

Answer 1

一种建议是在导入tensorflow之前放置以下代码段：

import os
os.environ["CUDA_VISIBLE_DEVICES"]="-1"

在@ Nicolas评论后添加

是的，这会禁用GPU！ 这不是想要的。