在tensorflow中使用sess.run（）有多昂贵？

Question

我使用tensorflow在python中编写了机器学习算法。 下图显示了算法伪代码。 在这种算法中，我在训练循环中多次使用sess.run（）。 我必须使用多个sess.run（）的原因是，我必须在不同的输入端评估相同的神经网络以计算δ。 由于某些原因，我仍然不知道我的代码非常慢（请参阅codereview ， AI以查看代码和相关问题）。

该图取自Richard S. Sutton和Andrew G. Barto的《 强化学习入门 》一书。

我对此堆栈的疑问如下：

1）做两个sess.run（）而不是一个要贵得多。 例如：

去做，

sess.run([op1],feed_dict={input:data})
sess.run([op2],feed_dict={input:data}) 

代替，

sess.run([op1,op2],feed_dict={input:data})

有什么区别吗？

2）在同一步骤的不同输入处评估同一神经网络的有效方法是什么？

我目前正在计算δ，如下所示：

self.delta = self.time_step_info['r'] + (not self.time_step_info['d'])*self.gamma*sess.run(self.critic(),feed_dict={self.state_in:self.time_step_info['s1']}) - sess.run(self.critic(),feed_dict={self.state_in:self.time_step_info['s']})

Answer 1

对于您的第一个问题，我不确定。

但是对于第二个问题，您可能已经知道，输入应该是一个矩阵。 矩阵可以包含多个X 然后NN将生成一个对应的结果矩阵Y ，该矩阵Y每一行是X中行的输出。