分配0字节时耗尽GPU内存

Question

我将tensorflow网站上的Deep Mnist示例修改为以下内容：

a = np.zeros((5500,10))
a = mnist.train.labels.copy()

batchsize = 250

with tf.Session() as sess:
    sess.run(tf.global_variables_initializer())
    for i in range(1000):
        batch = [mnist.train.images[i:batchsize], a[i:batchsize]]
        if i % 10 == 0:
            train_accuracy = accuracy.eval(feed_dict={x: batch[0], y_:batch[1], keep_prob: 1.0})
            print('step %d, training accuracy %g' % (i, train_accuracy))
        train_step.run(feed_dict={x: batch[0], y_: batch[1], keep_prob: 0.5})
        del batch

    print('test accuracy %g' % accuracy.eval(feed_dict={x: mnist.test.images, y_: mnist.test.labels, keep_prob: 1.0}))
    save_path = saver.save(sess, "/tmp/model.ckpt")
    print("Model saved in file: %s" % save_path)

我所做的只是使用自定义标签数组创建了自己的mnist.datasets批处理。

但是当我运行它时，经过一些迭代，我得到以下输出：

Ran out of GPU memory when allocating 0 bytes for 
 [[Node: SoftmaxCrossEntropyWithLogits_6 = SoftmaxCrossEntropyWithLogits[T=DT_FLOAT, _device="/job:localhost/replica:0/task:0/device:GPU:0"](Reshape_20, Reshape_21)]]

我什至添加了以下几行：

config = tf.ConfigProto()
config.gpu_options.allow_growth = True

nvidia-smi告诉我，arround 4Gb应该是免费的。

有谁知道这个问题，或者甚至知道如何解决？

Answer 1

这行：

batch = [mnist.train.images[i:batchsize], a[i:batchsize]]

只要i >= batchsize就会给您空批次。 实际上，您发布的错误消息说Ran out of GPU memory when allocating 0 bytes 。

您可能想要的是（请注意添加的i+ ）：

batch = [mnist.train.images[i:i+batchsize], a[i:i+batchsize]]

编辑

该代码还应按批大小增加i ，以免在一个训练时期内重复使用样本：

for i in range(0,1000, batchsize):

请注意，代码也不会遍历整个示例，您可以通过执行以下操作：

for i in range(0,len(a), batchsize):

此外，建议以随机顺序循环采样。 这一点很重要，如果您不止一次循环采样（您可能会获得与上一次迭代相同的梯度步长），还可以避免由于训练样本的特定顺序而产生的任何影响（例如，先学习全零，然后学习所有并以9结束，您的网络可能会将太多东西归为9）。