为什么python中子进程的数量会影响子进程的内存消耗？

Question

我在python中有一个非常有趣的案例。

主流程创建N个子流程。 子流程是从multiprocessing.Process继承的类。

现在，当子进程数为10时，每个子进程消耗约15M的驻留内存。 但是，当我将子进程的数量增加到100个时，每个子进程的驻留内存消耗将跃升至约5000万！

任何人都可以解释这种记忆跳跃/建议如何避免它？

这是子流程类的结构：

class MySubProcess(multiprocessing.Process):
    def __init__(self, sub_process_number):
        multiprocessing.Process.__init__(self, target=self.go)

        self.m_sub_process_number = sub_process_number


    def go(self):
        self.m_config = global_config
        while (True):
        ....

非常感谢！！！

Answer 1

当我尝试一个简单的示例，其中每个子进程只time.sleep()我看不到这种行为，因此我不认为它是multiprocessing模块固有的。

我最好的猜测是内存复制功能fork() ，这multiprocessing是有可能的引擎盖下使用。 在Unix上派生新进程的语义要求将父进程的整个内存空间复制到子进程中。 因此，假设您要在启动其中任何一个之前创建这些MySubProcess结构的列表。 然后，此列表将被复制到每个子进程的地址空间中，因此，当您查看每个进程的驻留大小时，它的大小将显着增大（假设您的结构占用了不小的内存量）。

另外，在启动子进程之前分配的任何其他内存都将被复制，但是实例列表是我想到的主要事情，随着分配更多的进程，实例的大小会增加。 根据您的代码，可能会有其他数据结构随进程数（例如工作队列）而扩展。

如果在每个孩子的上下文中del不需要的所有内容，您可能会发现它们的大小减小了，但这取决于Python分配器和系统内存分配器之间的相当复杂的交互作用，因此这是不确定的。 本质上，Python可以保留释放的内存以供重用，即使Python解释器不这样做，系统分配器也可以这样做。 简而言之，这可能不值得付出努力-有关更多信息，请参见我答案的结尾。

然而，这并没有看上去那么糟糕，因为Linux（以及其他现代Unix变体）使用了所谓的写时复制语义来确保fork()的行为不会如此低效。 本质上，子进程与父进程保留对相同内存页的引用-只要两个进程都未更改任何内容，则实际上不会复制内存，尽管如果将两个进程的ps或top的内存使用量相加，将被计算两次，因为他们的按流程处理方式不够聪明，无法注意到页面共享。 如果您遇到过这种情况，那么这与拥有多个指向同一基础文件的硬链接并没有什么不同。

一旦一个进程写入到内存页，它被复制（因此得名“写本”），因此将使用实际的物理内存。 在这种情况下，很难预测所需的额外内存量，因为这涉及到将Python数据结构一直映射到物理内存页面。 但是，原理本身很重要。

您可以通过使用free实用程序显示系统总体内存使用情况并比较两种情况下的数字来测试我的理论是否正确-如果我是对的，则在100个子进程的情况下您会看到一些增加的内存，但不是就像检查每个进程的内存使用建议一样。 不要忘记使用第二行中的数字（即-/+ buffers/cache行），因为这将消除两次测试之间文件系统高速缓存中的任何更改。

假设这是正确的，最好的选择是在父进程分配大量内存之前，尽早尝试启动子进程。 但是，除了尽力而为，您可能不必太担心-即使页面是在写时复制的，子进程也不会访问它们，因此它们将被替换为磁盘必需的，并且可能永远都不会交换回来，因此不会造成很大的性能损失（除非您的平台没有任何交换）。

最后一点-在实践中，创建任何工作进程可能比机器上的内核要多得多，除非您使用的是非常专业的硬件，否则通常不超过8个或16个左右。 如果创建太多的进程，那么可能就浪费了很多时间来调度所有进程，而没有从中获得好处-您所做的任何事情都无法获得比物理核心更多的并行化（尽管超线程会使此复杂化）。

另一个SO问题可能会提供一些更有用的信息。