矩阵（scipy稀疏） - 矩阵（密集; numpy数组）乘法效率

Question

我是一名从事地球物理反演的研究员。 这可能需要求解线性系统： Au = rhs 。 这里A通常是稀疏矩阵，但是rhs和u可以是密集矩阵或向量。 为了进行基于梯度的反演，我们需要灵敏度计算，并且它需要许多矩阵 - 矩阵和矩阵 - 向量乘法。 最近我在矩阵（稀疏） - 矩阵（密集）乘法中发现了一种奇怪的行为，下面是一个例子：

import numpy as np
import scipy.sparse as sp
n = int(1e6)
m = int(100)
e = np.ones(n)
A = sp.spdiags(np.vstack((e, e, e)), np.array([-1, 0, 1]), n, n)
A = A.tocsr()
u = np.random.randn(n,m)

%timeit rhs = A*u[:,0]
#10 loops, best of 3: 22 ms per loop    
%timeit rhs = A*u[:,:10]
#10 loops, best of 3: 98.4 ms per loop
%timeit rhs = A*u
#1 loop, best of 3: 570 ms per loop​

当我增加密集矩阵u大小乘以稀疏矩阵A （例如第二个A*u[:,:10]应该是220毫秒，最后一个A*u[:,:10]时，我期待计算时间几乎线性增加。 A*u[:,:10] 2.2s）。 但是，它比我预期的要快得多。 相反，矩阵向量乘法比矩阵 - 矩阵乘法慢得多。 有人可以解释原因吗？ 此外，是否有一种有效的方法来提升Matrix-vector乘法效率与Matrix-Matrix乘法相似的效率水平？

Answer 1

如果查看源代码 ，可以看到csr_matvec （实现矩阵向量乘法）在C代码中实现为简单的求和循环，而csr_matvecs （实现矩阵 - 矩阵乘法）实现为对axpy的调用BLAS常规。 根据什么BLAS库安装链接到，这样的电话可以远远超过用于矩阵向量相乘的简单的C实现更加高效。 这可能就是为什么你看到矩阵向量乘法如此缓慢。

改变scipy以便在矩阵向量的情况下调用BLAS可能对包有用。