TensorFlow 与 Theano 性能对比

Question

在一些神经网络研究的背景下，我正在评估关于如何实现这些或使用什么库的几种方法。 目前我正在比较 Tensorflow 和 Theano，我正在努力让 TenorFlow 表现良好。 这是我的简单 Hello-Gradient-Benchmark，它只是优化了一个系数的标量乘法。

import time

class Timer:

   def __init__(self, what):
      self.what = what

   def __enter__(self):
      self.t1 = time.time()
      return self

   def __exit__(self,t,v,tb):
      t2 = time.time()
      print("{0} runs {1:.4f} seconds".format(self.what, t2-self.t1))


def run_tensorflow():

   import tensorflow as tf

   x = tf.placeholder(tf.float32)
   y = tf.placeholder(tf.float32)
   a = tf.Variable([1.], tf.float32)

   sess = tf.Session()
   sess.run(tf.global_variables_initializer())

   loss = (y-a*x)**2
   step = tf.train.GradientDescentOptimizer(0.01).minimize(loss)

   def one_step():
      sess.run(step, {x:1.,y:0.})

   with Timer('tensorflow') as t:
      result = [ one_step() for n in range(1000) ]


def run_theano():

   import theano as th

   x = th.tensor.dscalar()
   y = th.tensor.dscalar()
   a = th.tensor.dscalar()
   l = a*x

   loss = (y-l)**2
   dloss = th.tensor.grad(loss, a)
   dloss_f = th.function([x,y,a], dloss)

   a = [1.]

   def one_step():
      a[0] -= 0.01 * dloss_f(1.,0.,a[0])

   with Timer('theano') as t:
      result = [ one_step() for n in range(1000) ]


run_tensorflow()
run_theano()

我在 CPU 上运行这个程序，并通过pip安装了软件包。 TensorFlow 和 Theano 的运行时间分别为 0.36 和 0.043 秒。 对于矩阵乘法开销应该占主导地位的真实网络，我看到了类似的性能差异，但 TensorFlow 仍然要慢得多。

我想知道我是否在尝试做的事情上错误地使用了 Tensorflow。 我不应该在循环中调用run()方法吗？

Answer 1

1. TF 和 Theano 设计用于处理大对象，数量级为 1M 元素。 对他们对标量的处理进行基准测试并不是特别相关。

2. 这是一个苹果对橘子的比较：使用 TF，您同时计时编译和运行时间，而在 Theano 中，您只计时运行时间！ 这是因为当您调用theano.function ，它会执行所有编译。 TF 中的 OTOH，当您第一次调用sess.run时，大部分工作都转移到了。

也就是说，当 TF 比 Theano 慢时，也有现实情况。