[英]find 2d elements in a 3d array which are similar to 2d elements in another 3d array
我有两个3D数组,想要在一个数组中识别2D元素,在另一个数组中有一个或多个类似的对应物。
这适用于Python 3:
import numpy as np
import random
np.random.seed(123)
A = np.round(np.random.rand(25000,2,2),2)
B = np.round(np.random.rand(25000,2,2),2)
a_index = np.zeros(A.shape[0])
for a in range(A.shape[0]):
for b in range(B.shape[0]):
if np.allclose(A[a,:,:].reshape(-1, A.shape[1]), B[b,:,:].reshape(-1, B.shape[1]),
rtol=1e-04, atol=1e-06):
a_index[a] = 1
break
np.nonzero(a_index)[0]
但当然这种方法非常慢。 请告诉我,有一种更有效的方式(以及它是什么)。 谢谢。
您正在尝试执行所有最近邻居类型的查询。 这是具有特殊O(n log n)算法的东西,我不知道python实现。 但是你可以使用常规的最近邻居,它也是O(n log n)稍慢一点。 例如scipy.spatial.KDTree
或cKDTree
。
import numpy as np
import random
np.random.seed(123)
A = np.round(np.random.rand(25000,2,2),2)
B = np.round(np.random.rand(25000,2,2),2)
import scipy.spatial
tree = scipy.spatial.cKDTree(A.reshape(25000, 4))
results = tree.query_ball_point(B.reshape(25000, 4), r=1e-04, p=1)
print [r for r in results if r != []]
# [[14252], [1972], [7108], [13369], [23171]]
query_ball_point()
不是完全等效于allclose()
但它是足够接近 ,特别是如果你不关心rtol
参数allclose()
您还可以得到度量(选择p=1
的城市街区,或p=2
的欧几里得)。
PS考虑将query_ball_tree()
用于非常大的数据集。 在这种情况下,A和B都必须编入索引。
PS我不确定元素的二维性应该有什么影响; 我给出的示例代码将它们视为1d,并且至少在使用城市街区指标时是相同的。
从np.allclose
的文档中,我们得到:
如果以下等式是元素为True,则allclose返回True。
绝对值(a - b)<=(atol + rtol * absolute(b))
使用该标准,我们可以使用broadcasting
进行矢量化实施,根据所述问题进行定制,如下所示 -
# Setup parameters
rtol,atol = 1e-04, 1e-06
# Use np.allclose criteria to detect true/false across all pairwise elements
mask = np.abs(A[:,None,] - B) <= (atol + rtol * np.abs(B))
# Use the problem context to get final output
out = np.nonzero(mask.all(axis=(2,3)).any(1))[0]
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.