Python3.4：OSError：[Errno 12]无法分配内存

Question

我正在文件dijk_inner_mp.py中初始化一堆长度为1048576 x 16的多处理数组：

N1=1048576
DEG1=16
P1=1
W = [[0 for x in range(DEG1)] for x in range(N1)]
W_index = [[0 for x in range(DEG1)] for x in range(N1)]
u = multiprocessing.Array('i',range(P1))
D = multiprocessing.Array('i',range(N1))
Q = multiprocessing.Array('i',range(N1))
l = [multiprocessing.Lock() for i in range(0,N1)]

初始化之后，我创建了P1个在分配的阵列上工作的进程。 但是，我在执行时总是遇到此错误：

File "dijk_inner_mp.py", line 20, in <module>
    l = [multiprocessing.Lock() for i in range(0,N1)]
  File "dijk_inner_mp.py", line 20, in <listcomp>
    l = [multiprocessing.Lock() for i in range(0,N1)]
  File "/usr/lib/python3.4/multiprocessing/context.py", line 66, in Lock
    return Lock(ctx=self.get_context())
  File "/usr/lib/python3.4/multiprocessing/synchronize.py", line 163, in __init__
    SemLock.__init__(self, SEMAPHORE, 1, 1, ctx=ctx)
  File "/usr/lib/python3.4/multiprocessing/synchronize.py", line 60, in __init__
    unlink_now)
OSError: [Errno 12] Cannot allocate memory

在看到有关此问题的其他问题后，我尝试将交换文件的大小增加到几GB，但这似乎没有帮助。 我也将大小从1M减小到131K，并最终遇到相同的错误。 关于如何规避此问题的任何想法？

Answer 1

multiprocessing.Lock()每个实例都将/dev/shm/的新信号量文件映射到内存中。

man mmap ：

ENOMEM将超过该进程的最大映射数。

（错误号12被定义为ENOMEM 。）

系统的最大映射数由内核参数vm.max_map_count ； 您可以使用/sbin/sysctl vm.max_map_count读取它。 毫无疑问，您会发现系统上的该值明显低于您要创建的锁的数量。

有关更改vm.max_map_count方法， vm.max_map_count见此Linux论坛线程 。