为什么 numpy 比 python 慢？ 如何让代码表现得更好

Question

我将我的神经网络从纯 python 改写为 numpy，但现在它工作得更慢了。 所以我尝试了这两个功能：

def d():
    a = [1,2,3,4,5]
    b = [10,20,30,40,50]
    c = [i*j for i,j in zip(a,b)]
    return c

def e():
    a = np.array([1,2,3,4,5])
    b = np.array([10,20,30,40,50])
    c = a*b
    return c

时间 d = 1.77135205057

时间 e = 17.2464673758

Numpy 慢 10 倍。 为什么会这样以及如何正确使用 numpy？

Answer 1

我认为这种差异是因为您在e构建列表和数组，而您只在d构建列表。 考虑：

import numpy as np

def d():
    a = [1,2,3,4,5]
    b = [10,20,30,40,50]
    c = [i*j for i,j in zip(a,b)]
    return c

def e():
    a = np.array([1,2,3,4,5])
    b = np.array([10,20,30,40,50])
    c = a*b
    return c

#Warning:  Functions with mutable default arguments are below.
# This code is only for testing and would be bad practice in production!
def f(a=[1,2,3,4,5],b=[10,20,30,40,50]):
    c = [i*j for i,j in zip(a,b)]
    return c

def g(a=np.array([1,2,3,4,5]),b=np.array([10,20,30,40,50])):
    c = a*b
    return c


import timeit
print timeit.timeit('d()','from __main__ import d')
print timeit.timeit('e()','from __main__ import e')
print timeit.timeit('f()','from __main__ import f')
print timeit.timeit('g()','from __main__ import g')

这里的函数f和g避免每次都重新创建列表/数组，我们得到非常相似的性能：

1.53083586693
15.8963699341
1.33564996719
1.69556999207

请注意， list-comp + zip仍然获胜。 但是，如果我们使数组足够大，numpy 就会胜出：

t1 = [1,2,3,4,5] * 100
t2 = [10,20,30,40,50] * 100
t3 = np.array(t1)
t4 = np.array(t2)
print timeit.timeit('f(t1,t2)','from __main__ import f,t1,t2',number=10000)
print timeit.timeit('g(t3,t4)','from __main__ import g,t3,t4',number=10000)

我的结果是：

0.602419137955
0.0263929367065

Answer 2

import time , numpy
def d():
    a = range(100000)
    b =range(0,1000000,10)
    c = [i*j for i,j in zip(a,b)]
    return c

def e():
    a = numpy.array(range(100000))
    b =numpy.array(range(0,1000000,10))
    c = a*b
    return c



#python ['0.04s', '0.04s', '0.04s']
#numpy ['0.02s', '0.02s', '0.02s']

尝试使用更大的数组...即使有创建数组的开销，numpy 也快得多

Answer 3

Numpy 数据结构在添加/构造时速度较慢

这里有一些测试：

from timeit import Timer
setup1 = '''import numpy as np
a = np.array([])'''
stmnt1 = 'np.append(a, 1)'
t1 = Timer(stmnt1, setup1)

setup2 = 'l = list()'
stmnt2 = 'l.append(1)'
t2 = Timer(stmnt2, setup2)

print('appending to empty list:')
print(t1.repeat(number=1000))
print(t2.repeat(number=1000))

setup1 = '''import numpy as np
a = np.array(range(999999))'''
stmnt1 = 'np.append(a, 1)'
t1 = Timer(stmnt1, setup1)

setup2 = 'l = [x for x in xrange(999999)]'
stmnt2 = 'l.append(1)'
t2 = Timer(stmnt2, setup2)

print('appending to large list:')
print(t1.repeat(number=1000))
print(t2.repeat(number=1000))

结果：

appending to empty list:
[0.008171333983972538, 0.0076482562944814175, 0.007862921943675175]
[0.00015624398517267296, 0.0001191077336243837, 0.000118654852507942]
appending to large list:
[2.8521017080411304, 2.8518707386717446, 2.8022625940577477]
[0.0001643958452675065, 0.00017888804099541744, 0.00016711313196715594]

Answer 4

我不认为 numpy 很慢，因为它必须考虑到编写和调试所需的时间。 程序越长，越难发现问题或添加新功能（程序员时间）。 因此，使用更高级别的语言可以在同等智能时间和技能下创建复杂且可能更高效的程序。

无论如何，一些有趣的优化工具是：

- Psyco是一种 JIT（及时，“实时”），它在运行时优化代码。

- Numexpr ，并行化是加速程序执行的好方法，前提是它足够可分离。

- weave是 NumPy 中的一个模块，用于与 Python 和 C 进行通信。它的功能之一是闪电战，它需要一行 Python，透明地转换 C，并且每次调用执行时都是优化版本。 进行第一次转换需要大约一秒钟，但更高的速度通常可以满足上述所有要求。 它不像 Numexpr 或 Psyco 字节码，也不是像 NumPy 那样的接口 C，而是直接用 C 编写并完全编译和优化的您自己的函数。