Tensorflow vs.numpy性能

Question

我正在以numpy计算均值和标准差。 为了提高性能，我在Tensorflow中尝试了相同的方法，但Tensorflow至少慢了约10倍。 我在Tensorflow中尝试了2种方法（下面的代码）。 第一种方法使用tf.nn.moments() ，它具有一个错误，有时会导致其返回方差为负值。 在第二种方法中，我通过其他Tensorflow函数计算方差。

我尝试了仅CPU和GPU； numpy总是更快。

我使用time.time()而不是time.clock()来测量使用GPU时的挂钟时间。

为什么Tensorflow较慢？ 我认为这可能是由于将数据传输到GPU中造成的，但是即使对于非常小的数据集（传输时间可以忽略不计），并且仅使用CPU时，TF的速度也较慢。 这是由于初始化TF所需的开销时间吗？

import tensorflow as tf
import numpy
import time
import math

class Timer:
    def __enter__(self):
        self.start = time.time()
        return self

    def __exit__(self, *args):
        self.end = time.time()
        self.interval = self.end - self.start

inData = numpy.random.uniform(low=-1, high=1, size=(40000000,))

with Timer() as t:
    mean = numpy.mean(inData)
print 'python mean', mean, 'time', t.interval

with Timer() as t:
    stdev = numpy.std(inData)
print 'python stdev', stdev, 'time', t.interval

# Approach 1 (Note tf.nn.moments() has a bug)
with Timer() as t:
    with tf.Graph().as_default():
        meanTF, varianceTF = tf.nn.moments(tf.constant(inData), axes=[0])
        init_op = tf.global_variables_initializer()
        with tf.Session() as sess:
            sess.run(init_op)
            mean, variance = sess.run([meanTF, varianceTF])
            sess.close()
print 'variance', variance
stdev = math.sqrt(variance)
print 'tensorflow mean', mean, 'stdev', stdev, 'time', t.interval

# Approach 2
with Timer() as t:
    with tf.Graph().as_default():
        inputVector = tf.constant(inData)
        meanTF = tf.reduce_mean(inputVector)
        length = tf.size(inputVector)
        varianceTF = tf.divide(tf.reduce_sum(tf.squared_difference(inputVector, mean)), tf.to_double(length))
        init_op = tf.global_variables_initializer()
        with tf.Session() as sess:
            sess.run(init_op)
            mean, variance = sess.run([meanTF, varianceTF])
            sess.close()
print 'variance', variance
stdev = math.sqrt(variance)
print 'tensorflow mean', mean, 'stdev', stdev, 'time', t.interval

Answer 1

下面是一个更好的基准。 在Xeon V3上进行了测试，使用仅TensorFlow CPU编译的所有优化选项+ 这里的 XLA与最新的anaconda附带的numpy MKL。

XLA在这里可能没有什么不同，但是留给后代使用。

笔记：

1. 从计时中排除前两次运行，它们可以包括初始化/性能分析

2. 使用变量以避免将输入复制到Tensorflow运行时中。

3. 在调用之间扰动变量，以确保没有缓存

结果：

   numpy 23.5 ms, 25.7 ms
      tf 14.7 ms, 20.5 ms

码：

import numpy as np
import tensorflow as tf
import time
from tensorflow.contrib.compiler import jit
jit_scope = jit.experimental_jit_scope

inData = np.random.uniform(low=-1, high=1, size=(40000000,)).astype(np.float32)
#inDataFeed = tf.placeholder(inData.dtype)

with jit_scope(compile_ops=True):
    inDataVar = tf.Variable(inData)
    meanTF = tf.reduce_mean(inDataVar)


sess = tf.Session()
times = []
sess.run(tf.global_variables_initializer())
num_tries = 10


times = []
for i in range(num_tries):
    t0 = time.perf_counter()
    mean = np.mean(inData)
    times.append(time.perf_counter()-t0)

print("%10s %.1f ms, %.1f ms" %("numpy", 10**3*min(times),
                                10**3*np.median(times)))

times = []
perturb = inDataVar.assign_add(tf.random_uniform(inData.shape))
for i in range(num_tries):
    sess.run(perturb)
    t0 = time.perf_counter()
    mean, = sess.run([meanTF])
    times.append(time.perf_counter()-t0)

times = times[2:] # discard first few because they could include profiling runs
print("%10s %.1f ms, %.1f ms" %("tf", 10**3*min(times),
                                10**3*np.median(times)))

Answer 2

这是一些人的基准，他们声称TF的平均速度明显比numpy或theano快 。 基准测试已经在这里进行了测试

在Linux Mint 18上使用Theano 0.8.2，Tensorflow 0.11.0，CUDA 8.0的具有16GiB RAM的Intel Core i5-4460 CPU和具有4 GiB RAM的Nvidia GTX 970

以下是一些其他基准 ，但它们未涉及均值。

Answer 3

请在https://towardsdatascience.com/numpy-vs-tensorflow-speed-on-matrix-calculations-9cbff6b3ce04中找到另一个基准和解释