关于核心/的RAM消耗

Question

我正在使用31台可用的Go Go RAM，12核Linux KUbuntu计算机。 我进行了模拟，计算了4个维度（x，y，z，t）上的函数。 我将尺寸定义为numpy.meshgrid使用的数组。 因此，对于每个时间点，我都会为每个点x，y，z计算结果。 它是带有大量数据的繁重计算。

首先，我学习了如何仅使用一个内核。 不管我的“盒子”的大小（x，y，z）如何，它都可以正常工作。 由于我在傅立叶变换上做了大量工作，因此我将x，y，z，t定义为2的幂：64,128,256，...我可以毫不费力地转到x = y = z = t = 512，甚至如果运行它需要很多时间（这很有意义）。 当我这样做时，我使用了计算机可用RAM的大约20-30％。 大。

然后，我想使用更多的内核。 所以我实现了这段代码：

import multiprocessing as mp
pool = mp.Pool(processes=8)
results = [pool.apply_async(conv_green, args=(tstep, S_, )) for tstep in t]

因此，在这里我要求脚本使用8个内核，并将结果定义为一直使用t的参数“ conv_green”和参数“ tstep，S_”。

它运行良好，按预期使用8个核，但是对于x，y，z，t，使用等于或大于512的数字的其他模拟我将无法运行。

这是我的问题所在。 从技术上讲，从单核系统切换到多核系统并不能改变我的计算程序。 我不明白为什么我在单核中有足够的内存用于512 ...，为什么突然地，当我切换到多核时，计算机甚至都不希望启动它（并且错误发生在“ result = pool.apply”处...”行）

因此，如果你们知道这是如何工作的以及为什么我得到这个“门槛”，谢谢您帮助我解决问题！

最好的祝福。

PS：这是在多核512中崩溃时弹出的错误：

追溯（最近一次通话）：文件“”，第1行，在

在运行文件execfile（文件名，名称空间）中的第540行，文件“ /usr/lib/python2.7/dist包/spyderlib/widgets/externalshell/sitecustomize.py”

文件“ / home / alexis / Heat / Simu⁄Lecture Propre / Test Tkinter / Simulation N spot SCAN Tkinter.py”，第280行，在XYslice = array（[p.get（）[0] for result in p]]中）

在文件“ /usr/lib/python2.7/multiprocessing/pool.py”中，行558获取get self._value

SystemError：NULL结果，PyObject_Call中没有错误

Answer 1

对于以任何语言进行的多处理，每个线程都将需要私有存储，该私有存储可以在不受到其他线程干扰的情况下写入。 一旦可能发生干扰，就必须锁定数据结构，这（在最坏的情况下）会将我们带回单线程。

似乎正在为每个线程复制大型数据结构，从而在拥有八个处理器时将内存使用量有效地增加了八倍……或高达可用RAM的200％。

最好的解决方案是防止不必要的复制。

如果那不可行，那么您只能限制可以运行的处理器数量，您的实例中应该有四个就可以了，但是请确保您的计算机具有大量交换空间。 交换空间还为您提供了一些机会，允许虚拟内存超过物理RAM，如果“工作集”足够小，则在有足够交换的情况下，您可能会大大超出物理RAM。