TensorFlow PoolAllocator的大量请求

Question

使用Tensorflow r0.9 / r.10我收到以下消息，这让我担心我以错误的方式设置了神经网络模型。

I tensorflow/core/common_runtime/gpu/pool_allocator.cc:244] PoolAllocator: After 6206792 get requests, put_count=6206802 evicted_count=5000 eviction_rate=0.000805568 and unsatisfied allocation rate=0.000806536

我使用的网络类似于AlexNet / VGG-M，我在一次调用的函数中创建变量和ops，然后在每个小批迭代中循环调用相同的优化器，损失和预测函数的多个时期。

令我担心的另一件事是，当使用大批量时，网络可能会不稳定：它在几个时期内运行良好，然后耗尽了内存（尝试分配...）。

有什么方法可以检查出什么地方有问题吗？

Answer 1

这是一个信息级别的日志语句（“ I”前缀）。 这并不一定意味着有什么问题：但是，池分配器（用于分配的缓存）发现它经常不得不依靠基础分配器。 这可能表明内存压力。

对于您的不稳定性问题：如您所观察，大批量可能导致内存不足错误。 操作员调度存在一些不确定性，这就是为什么您可能不会每次都看到它失败的原因。 尝试减小批处理大小，直到始终不再看到内存不足错误为止。