Numpy对于基本阵列操作非常慢

Question

我有一个代码，使用一堆多个数组的数值数据来执行许多基本的算术运算。 我已经意识到，在大多数可想象的操作中，numpy类始终比默认的python慢​​。 为什么是这样？

例如，我有一个简单的代码段，我要做的只是用从另一个numpy数组中检索到的另一个更新numpy数组元素，或者用其他2个numpy数组元素的数学乘积更新它。 这应该是一个基本操作，但始终比我使用list慢至少2-3倍。

首先，我认为这是因为我尚未统一数据结构，并且编译器必须进行许多不必要的转换。 于是我重新编码整个事情，更换一次float与numpy.float64和每一个list与numpy.ndarray ，整个数据numpy.float64所有跨代码，以便它没有做任何不必要的转换。

该代码仍然比我只使用list和float慢2-3倍。

例如：

    ALPHA       = [[random.uniform(*a_param)    for k in range(l2)] for l in range(l1)]
    COEFF       = [[random.uniform(*c_param)    for k in range(l2)] for l in range(l1)]

    summa=0.0
    for l in range(l1):
        for k in range(l2):
            summa+=COEFF[l][k] * ALPHA[l][k]

始终比以下速度快2-3倍：

    ALPHA       = numpy.random.uniform(*a_param, (l1,l2))
    COEFF       = numpy.random.uniform(*c_param, (l1,l2))

    summa=0.0
    for l in range(l1):
        for k in range(l2):
            summa+=COEFF[l][k] * ALPHA[l][k]

这是怎么可能的，我做错了什么，因为numpy应该加快速度。

记录我正在使用Python 3.5.3和numpy (1.12.1) ，我应该更新吗？

Answer 1

预期修改NumPy数组的单个元素不会比修改Python列表的单个元素更快。 当您在整个数组（或数组的子集）上执行“向量化”操作时，使用NumPy的速度就会加快。 尝试将NumPy数组的前10000个元素分配为与另一个数组的前10000个元素相等，然后与使用列表进行比较。

如果您的数据和/或操作非常小（一个或几个元素），最好不要使用NumPy。

Answer 2

我尝试了两件事：

1. 运行您的两个代码块。 对我来说，它们的速度差不多。
2. 编写一个利用numpy向量化数学的新函数。 这比其他方法快几倍。

这是我的功能：

import numpy as np

def with_lists(l1, l2):
    ALPHA = [[random.uniform(0, 1) for k in range(l2)] for l in range(l1)]
    COEFF = [[random.uniform(0, 1) for k in range(l2)] for l in range(l1)]
    summa=0.0
    for l in range(l1):
        for k in range(l2):
            summa+=COEFF[l][k] * ALPHA[l][k]
    return summa

def with_arrays(l1, l2):
    ALPHA = np.random.uniform(size=(l1,l2))
    COEFF = np.random.uniform(size=(l1,l2))
    summa=0.0
    for l in range(l1):
        for k in range(l2):
            summa+=COEFF[l][k] * ALPHA[l][k]
    return summa

def with_ufunc(l1, l2):
    """Avoid the loop completely by exploitng numpy's
    elementwise math."""
    ALPHA = np.random.uniform(size=(l1,l2))
    COEFF = np.random.uniform(size=(l1,l2))
    return np.sum(COEFF * ALPHA)

当我比较速度时（我在IPython中使用%timeit魔术），得到以下信息：

>>> %timeit with_lists(10, 10)
107 µs ± 4.7 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

>>> %timeit with_arrays(10, 10)
91.9 µs ± 10.5 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

>>> %timeit with_ufunc(10, 10)
12.6 µs ± 589 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

第三个功能，不带循环，在我的机器上大约快10到30倍，具体取决于l1和l2的值。