Python中使用Pickle的MemoryError

Question

我正在处理一些数据，我已将结果存储在三个词典中，并且我已将它们保存到使用Pickle的磁盘中。 每个字典有500-1000MB。

现在我正在加载它们：

import pickle
with open('dict1.txt', "rb") as myFile:
    dict1 = pickle.load(myFile)

但是，我已经在加载第一个字典了：

*** set a breakpoint in malloc_error_break to debug
python(3716,0xa08ed1d4) malloc: *** mach_vm_map(size=1048576) failed (error code=3)
*** error: can't allocate region securely
*** set a breakpoint in malloc_error_break to debug
Traceback (most recent call last):
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 858, in load
    dispatch[key](self)
  File "/System/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/pickle.py", line 1019, in load_empty_dictionary
    self.stack.append({})
MemoryError

怎么解决这个？ 我的电脑有16GB的RAM，所以我觉得加载一个800MB的字典崩溃是不寻常的。 我也发现不寻常的是在保存字典时没有问题。

此外，将来我计划处理更多数据，从而产生更大的字典（磁盘上3-4GB），因此任何有关如何提高效率的建议都值得赞赏。

Answer 1

如果你在字典数据numpy阵列，也有包（如joblib和klepto ），使酸洗大数组效率，同时作为klepto和joblib了解如何使用最少的状态表示了numpy.array 。 如果您没有array数据，我的建议是使用klepto将字典条目存储在多个文件（而不是单个文件）或数据库中。

请参阅我对一个非常密切相关的问题的答案https://stackoverflow.com/a/25244747/2379433 ，如果你可以腌制到几个文件而不是单个文件，想要并行保存/加载数据，或者我想轻松尝试一下存储格式和后端，看看哪种方式最适合您的情况。 另请参阅： https ： //stackoverflow.com/a/21948720/2379433以获取其他可能的改进，此处也是： https ： //stackoverflow.com/a/24471659/2379433 。

正如上面讨论的链接所讨论的那样，您可以使用klepto - 它使您能够使用通用API轻松地将字典存储到磁盘或数据库。 klepto还允许您选择存储格式（ pickle ， json等） - 而且HDF5 （或SQL数据库）是另一个不错的选择，因为它允许并行访问。 klepto可以使用专门的pickle格式（如numpy的）和压缩（如果你关心大小而不是访问数据的速度）。

klepto为您提供了使用“all-in-one”文件或“one-entry-per”文件存储字典的选项，还可以利用多处理或多线程 - 这意味着您可以保存和加载字典项目。后端并行。 例如，请参阅上面的链接。

Answer 2

这是泡菜的固有问题，其旨在用于相当少量的数据。 加载到内存中时，字典的大小比磁盘大很多倍。

加载100MB的pickle文件后，你可能会有一个大约1GB左右的字典。 网上有一些公式来计算开销，但我只建议使用一些像MySQL或PostgreSQL这样的数据库这样的数据。

Answer 3

我打扰你使用32位Python，它有4GB限制。 您应该使用64位而不是32位。 我试过了，我的腌制字典超过1.7GB，除了时间越长，我没有遇到任何问题。