![](/img/trans.png)
[英]python: fastest way to compute euclidean distance of a vector to every row of a matrix?
[英]Fastest way to compute distance beetween each points in python
在我的项目中,我需要计算存储在数组中的每个点之间的欧氏距离。 入口数组是一个二维的numpy数组,具有3列,分别是坐标(x,y,z),每行定义一个新点。
我通常在测试用例中使用5000-6000分。
我的第一个算法使用Cython和第二个Numpy。 我发现我的numpy算法比cython更快。
编辑:6000点:
numpy 1.76秒/ cython 4.36秒
这是我的cython代码:
cimport cython
from libc.math cimport sqrt
@cython.boundscheck(False)
@cython.wraparound(False)
cdef void calcul1(double[::1] M,double[::1] R):
cdef int i=0
cdef int max = M.shape[0]
cdef int x,y
cdef int start = 1
for x in range(0,max,3):
for y in range(start,max,3):
R[i]= sqrt((M[y] - M[x])**2 + (M[y+1] - M[x+1])**2 + (M[y+2] - M[x+2])**2)
i+=1
start += 1
M是初始条目数组的内存视图,但在调用函数calcul1()
之前由numpy flatten()
calcul1()
,R是用于存储所有结果的一维输出数组的内存视图。
这是我的Numpy代码:
def calcul2(M):
return np.sqrt(((M[:,:,np.newaxis] - M[:,np.newaxis,:])**2).sum(axis=0))
这里M是初始条目数组,但是在函数调用之前以numpy进行transpose()
,以将坐标(x,y,z)作为行并将点作为列。
而且,此numpy函数非常方便,因为它返回的数组组织良好。 这是一个n个点数为n的by n数组,每个点都有一行和一列。 因此,例如,距离AB存储在行A和列B的交点索引处。
这是我如何称呼它们(cython函数):
cpdef test():
cdef double[::1] Mf
cdef double[::1] out = np.empty(17998000,dtype=np.float64) # (6000² - 6000) / 2
M = np.arange(6000*3,dtype=np.float64).reshape(6000,3) # Example array with 6000 points
Mf = M.flatten() #because my cython algorithm need a 1D array
Mt = M.transpose() # because my numpy algorithm need coordinates as rows
calcul2(Mt)
calcul1(Mf,out)
我在这里做错什么了吗? 对于我的项目来说,两者都不够快。
1:有没有办法改善我的cython代码以击败numpy的速度?
2:是否可以改善numpy代码以使其计算更快?
3:或其他解决方案,但必须是python / cython(如并行计算)?
谢谢。
不知道在哪里获取时间,但是可以使用scipy.spatial.distance
:
M = np.arange(6000*3, dtype=np.float64).reshape(6000,3)
np_result = calcul2(M)
sp_result = sd.cdist(M.T, M.T) #Scipy usage
np.allclose(np_result, sp_result)
>>> True
时间:
%timeit calcul2(M)
1000 loops, best of 3: 313 µs per loop
%timeit sd.cdist(M.T, M.T)
10000 loops, best of 3: 86.4 µs per loop
重要的是,它对于了解输出是对称的也很有用:
np.allclose(sp_result, sp_result.T)
>>> True
一种替代方法是仅计算此数组的上三角:
%timeit sd.pdist(M.T)
10000 loops, best of 3: 39.1 µs per loop
编辑:不确定要压缩哪个索引,看起来您可能同时做这两种方式? 压缩其他索引以进行比较:
%timeit sd.pdist(M)
10 loops, best of 3: 135 ms per loop
仍比您当前的NumPy实现快约10倍。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.