繁体   English   中英

关于如何加速这个 python function 的建议?

[英]Suggestions on how to speed up this python function?

有关如何加快此 function 的任何建议?

def smooth_surface(z,c):
    hph_arr_list = []
    for x in xrange(c,len(z)-(c+1)):
        new_arr = np.hstack(z[x-c:x+c])
        hph_arr_list.append(np.percentile(new_arr[((new_arr >= np.percentile(new_arr,15)) & (new_arr <= np.percentile(new_arr,85)))],99))
    return np.array(map(float,hph_arr_list))

变量z的长度约为 1500 万, c是 window 大小+-的值。 function 基本上是一个滑动 window,它计算每次迭代的百分位值。 任何帮助,将不胜感激! z是一个 arrays 数组(因此是np.hstack )。 也许任何想法 numba 会对此有所帮助。 如果有,如何实施?

计算的缓慢部分似乎是行np.percentile(new_arr[((new_arr >= np.percentile(new_arr,15)) & (new_arr <= np.percentile(new_arr,85)))],99) . 这是由于小np.percentile上的 np.percentile 出乎意料地缓慢,以及创建了几个中间 arrays。

由于new_arr实际上很小,因此仅对其进行排序并自己进行插值会快得多。 此外,numba 还可以帮助加快计算速度。

@njit #Use @njit instead of @jit to increase speed
def filter(arr):
    arr = arr.copy() # This line can be removed to modify arr in-place
    arr.sort()
    lo = int(math.ceil(len(arr)*0.15))
    hi = int(len(arr)*0.85)
    interp = 0.99 * (hi - 1 - lo)
    interp = interp - int(interp)
    assert lo <= hi-2
    return arr[hi-2]* (1.0 - interp) + arr[hi-1] * interp

在我的机器上使用大小为 20 的 arrays 时,此代码快 160 倍,并且应该产生相同的结果。

最后,您也可以通过在 numba 中使用自动并行化来加速smooth_surface (有关更多信息,请参见此处)。 这是一个未经测试的原型:

@jit(parallel=True)
def smooth_surface(z,c):
    hph_arr = np.zeros(len(z)-(c+1)-c)
    for x in prange(c,len(z)-(c+1)):
        hph_arr[x-c] = filter(np.hstack(z[x-c:x+c]))
    return hph_arr

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM