[英]How to make a simple prediction in Tensorflow on a trained model?
[英]How to make a copy of a trained model with tensorflow?
我有一個帶有模型規范的類和一些訓練和評估模型的方法。 我想復制一個受過訓練的對象,我嘗試使用copy.deepcopy()
但沒有奏效。
下面的代碼只是一個例子,但我希望它適用於任何使用以下相同想法的模型:
from __future__ import absolute_import
from __future__ import division
from __future__ import print_function
import argparse
import sys
import copy
from tensorflow.examples.tutorials.mnist import input_data
import tensorflow as tf
FLAGS = None
class Model():
def __init__(self):
self.x = tf.placeholder(tf.float32, [None, 784])
self.W = tf.Variable(tf.zeros([784, 10]))
self.b = tf.Variable(tf.zeros([10]))
self.y = tf.matmul(self.x, self.W) + self.b
self.y_ = tf.placeholder(tf.float32, [None, 10])
self.cross_entropy = tf.reduce_mean(tf.nn.softmax_cross_entropy_with_logits(labels=self.y_, logits=self.y))
self.train_step = tf.train.GradientDescentOptimizer(0.5).minimize(self.cross_entropy)
def train(self, mnist, sess):
for _ in range(1000):
batch_xs, batch_ys = mnist.train.next_batch(100)
sess.run(self.train_step, feed_dict={self.x: batch_xs, self.y_: batch_ys})
def test(self, mnist, sess):
self.correct_prediction = tf.equal(tf.argmax(self.y, 1), tf.argmax(self.y_, 1))
self.accuracy = tf.reduce_mean(tf.cast(self.correct_prediction, tf.float32))
print(sess.run(self.accuracy, feed_dict={self.x: mnist.test.images, self.y_: mnist.test.labels}))
def main(_):
# Import data
mnist = input_data.read_data_sets(FLAGS.data_dir, one_hot=True)
m = Model()
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
m.train(mnist, sess)
copy_of_m = copy.deepcopy(m) # DOES NOT WORK !
m.test(mnist, sess)
copy_of_m.test(mnist, sess)
if __name__ == '__main__':
parser = argparse.ArgumentParser()
parser.add_argument('--data_dir', type=str, default='/tmp/tensorflow/mnist/input_data', help='Directory for storing input data')
FLAGS, unparsed = parser.parse_known_args()
tf.app.run(main=main, argv=[sys.argv[0]] + unparsed)
正如在此線程鏈接中,您可以使用from copy import copy
並執行copy(model)
而不是深復制。
您還可以使用tf.keras.models.clone_model
並在您的復制模型中加載另一個模型的權重。
正如 de1 在評論中所解釋的
TensorFlow 變量存在於圖中,無法自行序列化/反序列化
您不能簡單地使用deepcopy
復制tensorflow
模型,因為Variable
存在於圖中。 雖然Variable
本身不能被復制(如果你復制它們,你會收到這個異常TypeError: can't pickle _thread.RLock objects
),你可以使用__getstate__/__setstate__
復制它們的值。 例如,
tf.reset_default_graph()
class Model():
def __init__(self):
self.normal = 2
self.x = tf.ones([1,2])
self.W = tf.Variable(tf.zeros([2, 2]))
self.b = tf.Variable(tf.zeros([2]))
self.y = tf.matmul(self.x, self.W) + self.b
self.train_step = tf.train.GradientDescentOptimizer(0.5).minimize(self.y)
self.inside_tf = ['W','b','x','y','train_step']
def __getstate__(self):
for item in self.inside_tf:
setattr(self,'%s_val' % item,sess.run(getattr(self,item)))
state = self.__dict__.copy()
for item in self.inside_tf:
del state[item]
return state
def __setstate__(self, state):
self.__dict__.update(state)
# Import data
m = Model()
sess = tf.InteractiveSession()
tf.global_variables_initializer().run()
copy_of_m = copy.deepcopy(m)
正如您通過運行此腳本所看到的,在酸洗之前(復制之前),在__getstate__
方法中,我們首先保存Variable
的值,然后從self.__dict__
的副本中刪除它們。 因此,在酸洗(復制)時,只會酸洗Variable
的值。
通過運行[item for item in dir(copy_of_m) if item[:2] != '__']
,您可以看到對象copy_of_m
具有屬性['W_val', 'b_val', 'inside_tf', 'normal', 'train_step_val', 'x_val', 'y_val']
。 雖然像W_val
這樣的屬性不是tensorflow
Variable
,但很明顯, Variable
的值對我們來說是最重要的。
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.