无法在学习的张量流模型中读取已训练的权重

Question

我正在尝试读取通过Tensorflow模型训练获得的值，但我仅获得权重的初始值。 我正在使用来自https://gist.github.com/saitodev/8532cf9e94a9490f75a9bce678751aec的示例代码，仅添加了用于打印W和b值的代码。 我得到偏差（b）的值，但权重（W）都为零，这是不正确的，因为学习的模型实际上是有效的（准确度为92％）。 我还尝试将权重设置为trainable = False，模型停止学习以表示W确实需要更新才能起作用。 我应该如何阅读已学砝码的价值？ 我的方法有什么问题？

码：

from __future__ import print_function

from tensorflow.examples.tutorials.mnist import input_data
mnist = input_data.read_data_sets("MNIST_data/", one_hot=True)

import tensorflow as tf

x = tf.placeholder(tf.float32, [None, 784]) 

W = tf.Variable(tf.zeros([784, 10]))
b = tf.Variable(tf.zeros([10]))
y = tf.nn.softmax(tf.matmul(x, W) + b)

y_ = tf.placeholder(tf.float32, [None, 10])
cross_entropy = tf.reduce_mean(-tf.reduce_sum(y_ * tf.log(y), reduction_indices=[1]))

correct_prediction = tf.equal(tf.argmax(y, 1), tf.argmax(y_, 1))
accuracy = tf.reduce_mean(tf.cast(correct_prediction, tf.float32))

train_step = tf.train.GradientDescentOptimizer(0.5).minimize(cross_entropy)

with tf.Session() as sess:
  sess.run(tf.initialize_all_variables())

  max_steps = 1000
  for step in range(max_steps):
    batch_xs, batch_ys = mnist.train.next_batch(100)
    sess.run(train_step, feed_dict={x: batch_xs, y_: batch_ys})
    if (step % 100) == 0:
      print(step, sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

  print(max_steps, sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))
  print("W=")
  print(sess.run(W))
  print("b=")
  print(sess.run(b))
  print(max_steps, sess.run(accuracy, feed_dict={x: mnist.test.images, y_: mnist.test.labels}))

结果：

Extracting MNIST_data/train-images-idx3-ubyte.gz
Extracting MNIST_data/train-labels-idx1-ubyte.gz
Extracting MNIST_data/t10k-images-idx3-ubyte.gz
Extracting MNIST_data/t10k-labels-idx1-ubyte.gz
0 0.3348
100 0.8918
200 0.9037
300 0.906
400 0.9098
500 0.9137
600 0.9168
700 0.9147
800 0.9134
900 0.9193
1000 0.9193
W=
[[ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 ..., 
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]
 [ 0.  0.  0. ...,  0.  0.  0.]]
b=
[-0.38804549  0.35967571  0.09746896 -0.28238639  0.03597458  1.31636047
 -0.11613782  0.64165515 -1.42244864 -0.24211763]
1000 0.9193

Answer 1

在您的代码中， sess.run(tf.initialize_all_variables())将以指定的方式初始化变量，例如零。 因此，您将获得全零W

您显示的代码仅用于训练模型，不包括保存或加载模型。 如果要加载预先训练的模型，则应添加如下代码：

saver = tf.train.Saver()
saver.restore(sess, model_checkpoint_path)

该代码将帮助您初始化图形中在检查点中找到的所有（可训练的）变量，而不是自行初始化它们。

此外，由参数trainable=True初始化的变量（张量）将是可训练的，并添加到可训练集合中。

注意，应确保要还原的图形与定义的图形相同，包括网络的结构，op名称，张量名称等。

您应该查看官方文档： 保存和还原 。