python中共享数组的RawArray的最大大小

Question

尝试创建用于多个进程中的共享内存的数组时，出现断言错误：

    shared_array = RawArray('d', xsize)
  File "C:\Python27\lib\multiprocessing\sharedctypes.py", line 88, in RawArray
    obj = _new_value(type_)
  File "C:\Python27\lib\multiprocessing\sharedctypes.py", line 68, in _new_value
    wrapper = heap.BufferWrapper(size)
  File "C:\Python27\lib\multiprocessing\heap.py", line 242, in __init__
    assert 0 <= size < sys.maxint
AssertionError

但是，即使我运行如下所示的基本示例，它似乎仍在maxint数字之上：

from multiprocessing.sharedctypes import RawArray
import sys

xsize = 999999999
#create an empty array    
print('MaxInt:',sys.maxint)
print('My Size:',xsize)
shared_array = RawArray('d', xsize)

打印语句显示：

('MaxInt:', 2147483647)
('My Size:', 999999999)

为什么会发生这种情况？当具有非常大的数组时，如何为多处理创建共享数组？ 我的计算机有128GB的RAM，所以这不应该成为问题。

Answer 1

这里的int将是“ C样式” int，它通常为4个字节，但是您需要这样做，因此可以通过执行以下操作来获得数组的最大大小：

from sys import maxint
from ctypes import sizeof, c_int

maxint // sizeof(c_int)

对您来说（具有32位版本）将是大约512M元素。 但是，如果您运行的是32位版本，则地址空间将是一个更大的限制因素，并且几乎可以肯定，您将无法分配那么大的数组。

我使用的是Python 2.7和3.7的64位版本，其中sys.maxint和sys.maxsize均为2**63-1 ，并且都允许我分配具有十亿（ 10**9 ）个元素的数组（并且我可以看到Python的〜4GB RSS ），尽管花了一段时间才能将其全部归零。