sess.run（）导致训练缓慢

Question

我正在训练CNN，我相信我对sess.run()使用导致我的训练非常缓慢。

本质上，我使用的是mnist数据集...

from tensorflow.examples.tutorials.mnist import input_data
...
...
features = input_data.read_data_sets("/tmp/data/", one_hot=True)

问题是，CNN的第一层必须以[batch_size, 28, 28, 1]的形式接受图像，这意味着我必须在将每个图像馈送到CNN之前对其进行转换。

我用我的脚本执行以下操作...

x = tf.placeholder(tf.float32, [None, 28, 28, 1])
y = tf.placeholder(tf.float32, [None, 10])  
...
...
with tf.Session() as sess:

    for epoch in range(25):

        total_batch = int(features.train.num_examples/500)

        avg_cost = 0

        for i in range(total_batch):

            batch_xs, batch_ys = features.train.next_batch(10)

            # Notice this line.
            _, c = sess.run([train_op, loss], feed_dict={x:sess.run(tf.reshape(batch_xs, [10, 28, 28, 1])), y:batch_ys})

            avg_cost += c / total_batch

        if (epoch + 1) % 1 == 0:
            print("Epoch:", '%04d' % (epoch + 1), "cost=", "{:.9f}".format(avg_cost))

注意注释行。 我正在从训练集中获取第一批，我正在重塑为正确的格式[batch_size, 28, 28, 1] 。 我必须每次都调用sess.run() ，我相信这是训练速度如此之慢的原因。

我怎么能阻止这个。 我尝试使用numpy在另一个脚本中重新格式化数据，但它仍然给我带来了问题，因为我无法在不运行sess.run()情况下提供numpy数组。 有人可以告诉我如何在训练课程之外格式化数据吗？ 也许我可以在另一个脚本中格式化数据并将其加载到包含我的CNN的脚本中？

Answer 1

在每次迭代时，你绝对不应该在新的操作上使用内部sess.run() （尽管我不确定它对你的影响有多大）。 你应该做其中一个：

• 有一个与输入形状相同的占位符，例如[None, 28*28*1] ，然后是网络tf.reshape([None, 28, 28, 1]) （而不是你的tf.placeholder([None, 28, 28, 1]) ）

要么

• 保持你的神经网络，并使用numpy reshape而不是tensorflow重新格式化： _, c = sess.run([train_op, loss], feed_dict={x:batch_xs.reshape( [-1, 28, 28, 1]), y:batch_ys})

如果你只写_, c = sess.run([train_op, loss], feed_dict={x:tf.reshape(batch_xs, [10, 28, 28, 1]), y:batch_ys})它可能也有效你不应该这样做，因为它会在每次迭代时在你的图形中创建一个新的op。

Answer 2

您可以做的另一件事是重新设置开头本身的所有输入，然后将其提供给占位符。

import math
import numpy as np
x = tf.placeholder(tf.float32, [None, 28, 28, 1])
y = tf.placeholder(tf.float32, [None, 10])  
...
...
with tf.Session() as sess:
    X_train=mnist.train.images.reshape(-1,28,28,1)
    y_train=mnist.train.labels
    train_indicies = np.arange(X_train.shape[0])
    num_epochs = 25 // number of epochs
    batch_size = 50
    total_batch = int(math.ceil(X_train.shape[0]/batch_size))
    for epoch in range(25):
        for i in np.arange(total_batch):
        start_idx = (i*batch_size)%X_train.shape[0]
        idx = train_indicies[start_idx:start_idx+batch_size]
        _, c = sess.run([train_op, loss], feed_dict={x:X_train[idx,:], y:y_train[idx]})
        avg_cost += c / total_batch

    if (epoch + 1) % 1 == 0:
        print("Epoch:", '%04d' % (epoch + 1), "cost=", "{:.9f}".format(avg_cost))

因为我们将无法使用mnist.train.next_batch，所以我们需要手动计算和增加索引。

希望这工作:)