用numpy初始化一个大矩阵花费的时间太长

Question

我在python中工作，遇到一个问题：我必须初始化一个巨大的数组（21 x 2000 x 4000矩阵），以便可以在其上复制一个子矩阵。 问题是我希望它真的很快，因为它是用于实时应用程序的，但是当我运行numpy.ones（（21,2000,4000））时，创建此矩阵大约需要一分钟。 当我运行numpy.zeros（（21,2000,4000））时，它是瞬时的，但是一旦我复制子矩阵，它就需要一分钟，而在第一种情况下，复制部分是瞬时的。

有没有更快的方法来初始化大型数组？

Answer 1

我猜没有更快的方法。 您要构建的矩阵非常大（8字节float64 x 21 x 2000 x 4000 = 1.25 GB），并且可能会占用系统上很大一部分的物理内存。 因此，您等待的一分钟可能是因为操作系统必须调出其他内容来腾出空间。 您可以在分配时查看top或类似内容（例如System Monitor）并查看内存使用情况和分页，以进行检查。

numpy.zeros似乎是瞬时的，因为内存是OS延迟分配的。 但是，一旦您尝试使用它，则操作系统实际上必须在某处容纳该数据。 请参阅为什么numpy.zeros和numpy.zeros_like之间的性能差异？

您是否可以重组代码，以便仅创建要复制的子矩阵，而无需创建大矩阵？