按块切片numpy数组

Question

我需要对给定定义切片条件的三个值（ N1, N2, N3 ）的数组（ aa ）进行切片，如下所示：

import numpy as np

N1, N2, N3 = 200, 500000, 30
aa = np.random.uniform(0., 1., N1*N2)

bb = []
for i in range(N1):
    bb += list(aa[i * N2:(i * N2) + N3])

这段代码遵循以下规则生成一个新的数组bb ：

1. 第一N3的元件aa
2. 跳转N2元素并添加以下N3元素aa
3. 重复2.直到aa耗尽

我可以通过numpy索引更快地执行此过程吗？

Answer 1

只需整形为2D并切片第一个N3列-

bb = aa.reshape(N1,N2)[:,:N3].ravel()

当N3超过N2

如果N3超过N2 ，则这些aa[i * N2:(i * N2) + N3]在迭代中将有重叠。 为了解决这种情况，我们可以创建滑动窗口，然后切片行，直到我们有足够的长度，然后为剩余的窗口创建一个循环-

from skimage.util.shape import view_as_windows

starts = np.arange(len(aa), step=N2)
lens = len(aa) - np.arange(len(aa), step=N2)
rem_lens = lens[lens < N3]
m0 = lens < N3

l1 = N3*(~m0).sum()
l2 = rem_lens.sum() 
out = np.empty(l1+l2, dtype=aa.dtype)
out[:l1] = view_as_windows(aa,(N3))[::N2].ravel()
rem_starts = starts[m0]
ss = l1+np.r_[0,rem_lens.cumsum()]
for s,i,j in zip(rem_starts, ss[:-1], ss[1:]):
    out[i:j] = aa[s:]

Answer 2

您可以通过重塑数组来更优雅地完成此操作。 首先将初始数组设为2D：

N1, N2, N3 = 200, 500000, 30
aa = np.random.uniform(0., 1., (N1, N2))

现在，只需沿第二维移除大小为N3的块即可：

bb = aa[:, :N3]

如果您需要bb保持平坦，请使其：

bb = aa[:, :N3].ravel()

Answer 3

您可以使用NumPy的array_split或split来更简单地完成相同的操作。

但是，它可能不会显着提高效率 。

用aa[i * N2:(i * N2) + N3]存储一堆数组切片是切片数量的线性时间。 在NumPy内执行该循环（因此，假设您使用的是CPython，则在C循环而不是Python循环中执行）会更快一些。 但是，除非您有大量的切片，否则可能没有关系。

但是，将每个切片转换为具有list(aa[i * N2:(i * N2) + N3])的列表，然后扩展现有列表，非常慢。 这可能要花费您总时间的99％以上，因此优化其他1％的问题是无关紧要的。 NumPy无法做任何加速将每个片段转换为列表的操作。

因此，如果您实际上不需要列表，请停止调用list 。 你可以只使用数组列表和chain需要他们在一起，或者你可以建立一个自定义跨入阵列出数组列表，或者你可以ravel原来的数组你想要的形状。

如果您确实需要一个列表，那从本质上来说很慢，而且您无能为力。