numpy 不会过度使用 memory 即使 vm.overcommit_memory=1

Question

赏金将在 3 天后到期。 此问题的答案有资格获得+50声望赏金。 Almog-at-Nailo想让更多人关注这个问题：

我想要一个明确的答案，在这种情况下是否可以提交超过 3GB 的 memory 以及这样做的步骤是什么

我在我的代码中遇到了 numpy 错误numpy.core._exceptions.MemoryError 。 我的机器上有很多可用的 memory，所以这应该不是问题。 （这是在树莓派 armv7l，4GB 上）

$ free
              total        used        free      shared  buff/cache   available
Mem:        3748172       87636     3384520        8620      276016     3528836
Swap:       1048572           0     1048572

我发现这篇文章建议我应该在 kernel 中允许 overcommit_memory，所以我这样做了：

$ cat /proc/sys/vm/overcommit_memory
1

现在，当我尝试运行此示例时：

import numpy as np
arrays = [np.empty((18, 602, 640), dtype=np.float32) for i in range(200)]

我犯了同样的错误：

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 1, in <listcomp>
numpy.core._exceptions.MemoryError: Unable to allocate 26.5 MiB for an array with shape (18, 602, 640) and data type float32

为什么 python（或 numpy）以这种方式运行，我怎样才能让它工作？

编辑：答复中的问题答案：

这是一个32位系统（armv7l）

>>> sys.maxsize
2147483647

我打印了示例失败时的大致大小（根据错误消息，每次迭代应为 26.5MiB）：

 def allocate_arr(i):
     print(i, i * 26.5)
     return np.empty((18, 602, 640), dtype=np.float32)

 arrays = [allocate_arr(i) for i in range(0, 200)]

output 显示在分配了大约 3GB RAM 时失败：

1 26.5
2 53.0
3 79.5
...
111 2941.5
112 2968.0
113 2994.5
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File "<stdin>", line 1, in <listcomp>
  File "<stdin>", line 3, in allocate_arr
numpy.core._exceptions.MemoryError: Unable to allocate 26.5 MiB for an array with shape (18, 602, 640) and data type float32

3GB是极限吗？ 有没有办法增加它？ 这不是过度承诺的意义所在吗？

Answer 1

默认情况下，32 位 Linux 具有 3:1 用户/内核拆分。 也就是说，在可以使用 32 位无符号 integer 寻址的 4 GB 中，3 GB 保留给用户空间，而 1 GB 保留给 kernel 空间。 因此，任何单个进程最多可以使用 3 GB memory。vm.overcommit 设置与此无关，即使用比支持虚拟 memory 的实际物理 memory 更多的虚拟 memory。

在 Linux kernel 中曾经有所谓的 4G/4G 支持（不确定这些补丁是否曾经被主线化过？），允许用户空间进程使用完整的 4 GB，kernel 使用另外 4 GB 地址空间，以更差的性能为代价（每次系统调用都会刷新 TLB？）。 但是 AFAIU 这些功能已经有点腐烂了，因为每个对使用大量 memory 感兴趣的人很久以前就已经转移到 64 位系统了。

Answer 2

其他人过去也有过类似的问题。 即使在64 bit OS上，问题是否仍然存在？ 该问题可能与您使用的是32-bit系统有关。 在 32 位系统上，任何给定进程的最大addressable memory为 4GB。 OS可能会为kernel ( 1GB) 保留一些address space ，这可以解释为什么您会达到 3GB 左右的限制。