Jupyter 中的 MemoryError 但不是 Python

Question

我在跑

NAME="CentOS Linux"
VERSION="7 (Core)"
ID="centos"
ID_LIKE="rhel fedora"
VERSION_ID="7"

有很多 memory

             total        used        free      shared  buff/cache   available
Mem:           125G        3.3G        104G        879M         17G        120G

64 位 Anaconda https://repo.anaconda.com/archive/Anaconda3-2022.10-Linux-x86_64.sh

我在 jupyter_notebook_config.json 和 jupyter_notebook_config.py 中都将 max_buffer_size 设置为 64GB，只是为了确保在命令行中指定它：

jupyter notebook --certfile=ssl/mycert.perm --keyfile ssl/mykey.key --no-browser --NotebookApp.max_buffer_size=64000000000

并且

cat /proc/sys/vm/overcommit_memory
1

我运行一个简单的 memory 分配片段：

    size = int(6e9)
    chunk = size * ['r']
    print (chunk.__sizeof__()/1e9)

作为一个 standalone.py 文件，它可以工作：

python ../readgzip.py
48.00000004

高兴地报告说它为我的列表分配了 48GB。

但是，jupyter notebook 中的相同代码最多只能运行 7.76GB：

    size = int(9.7e8)
    chunk = size * ['r']
    print (chunk.__sizeof__()/1e9)
7.76000004

并将数组大小从 9.7e8 增加到 9.75e8 后失败

---------------------------------------------------------------------------
MemoryError                               Traceback (most recent call last)
/tmp/ipykernel_12328/3436837519.py in <module>
      1 size = int(9.75e8)
----> 2 chunk = size * ['r']
      3 print (chunk.__sizeof__()/1e9)

MemoryError: 

此外，在我的家用 Windows11 机器上，64GB 的 memory 我可以轻松运行上面的代码并分配 32GB 的 memory。

好像，我在 Linux 上遗漏了一些关于 Jupyter 设置的信息

我错过了什么？

谢谢

Answer 1

在 linux（可能还有其他操作系统，但我不确定）上， MemoryError并不意味着机器的 memory 已耗尽（在这种情况下通常会调用OOM 杀手），而是进程已达到限制（AKA ulimit ，已过时），kernel 不愿意为其分配额外的 memory。

您可以使用 python 的资源库来检查当前进程的限制（并可能设置它们，具有足够的权限）。 这是一个例子：

$ prlimit --as
RESOURCE DESCRIPTION              SOFT      HARD UNITS
AS       address space limit unlimited unlimited bytes
$ prlimit --pid=$$ --as=$((1024*1024*20)):
prlimit --as
RESOURCE DESCRIPTION             SOFT      HARD UNITS
AS       address space limit 20971520 unlimited bytes
$ python
Python 3.10.6 (main, Nov 14 2022, 16:10:14) [GCC 11.3.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import resource
>>> resource.getrlimit(resource.RLIMIT_AS)
(20971520, -1)
>>> longstr = "r" * 1024*1024*10
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
MemoryError
>>> longstr = "r" * 1024*1024*3
>>> resource.setrlimit(resource.RLIMIT_AS, (1024*1024*30, resource.RLIM_INFINITY))
>>> resource.getrlimit(resource.RLIMIT_AS)
(31457280, -1)
>>> longstr = "r" * 1024*1024*10
>>> len(longstr)
10485760
>>>

增加 Jupyter-Notebook 的限制应该从进程本身外部完成，因为通常不建议使用超级用户权限运行 python 进程。

阅读有关 linux 的prlimit(1)实用程序和getrlimit(2)系统调用的更多信息。