[英]vectorized approach to binning with numpy/scipy in Python
我正在使用np.digitize将Python中的2d数组(x by y)合并到其x值的区间(在“bins”中给出):
elements_to_bins = digitize(vals, bins)
其中“vals”是一个二维数组,即:
vals = array([[1, v1], [2, v2], ...]).
elements_to_bins只是说每个元素落入哪个bin。 我当时想要做的是得到一个列表,其长度是“箱子”中的箱数,每个元素返回落入该箱的“val”的y维度。 我现在这样做:
points_by_bins = []
for curr_bin in range(min(elements_to_bins), max(elements_to_bins) + 1):
curr_indx = where(elements_to_bins == curr_bin)[0]
curr_bin_vals = vals[:, curr_indx]
points_by_bins.append(curr_bin_vals)
有没有更优雅/更简单的方法来做到这一点? 我只需要列出每个bin中的y值列表。
谢谢。
如果我理解你的问题:
vals = array([[1, 10], [1, 11], [2, 20], [2, 21], [2, 22]]) # Example
(x, y) = vals.T # Shortcut
bin_limits = range(min(x)+1, max(x)+2) # Other limits could be chosen
points_by_bin = [ [] for _ in bin_limits ] # Final result
for (bin_num, y_value) in zip(searchsorted(bin_limits, x, "right"), y): # digitize() finds the correct bin number
points_by_bin[bin_num].append(y_value)
print points_by_bin # [[10, 11], [20, 21, 22]]
Numpy的快速数组操作searchsorted()
用于最大效率。 然后逐个添加值(因为最终结果不是矩形数组,Numpy对此无能为力)。 此解决方案应该比循环中的多个where()
调用更快,这会迫使Numpy多次重新读取同一个数组。
这将返回类似于IDL HISTOGRAM的Reverse_Indices的数据结构:
ovec = np.argsort(vals)
ivec = np.searchsorted(vals, bin_limits, sorter=ovec)
那么落入bin #i的元素列表就是
ovec[ ivec[i] : ivec[i+1] ]
(我的快速计时测试表明这比EOL的算法快5倍,因为它不会创建不同大小的列表)
bin键是否只是整数,没有binning,就像你的例子一样? 然后你可以这样做,没有numpy:
from collections import defaultdict
bins = defaultdict(list) # or [ [] ...] as in EOL
vals = [[1, 10], [1, 11], [2, 20], [2, 21], [2, 22]] # nparray.tolist()
for nbin, val in vals:
bins[nbin].append(val)
print "bins:", bins
# defaultdict(<type 'list'>, {1: [10, 11], 2: [20, 21, 22]})
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.