防止多处理“失控的错误”

Question

如果您使用多处理并无意间无限制地创建了进程 ，则操作系统将不会喜欢它。

是否有任何简单的解决方案可以防止这种情况发生（例如，通过限制进程总数（在Python或OS中））？

我使用Windows，当我犯这样的错误时，它的表现确实很差（需要硬重启）。 因此，如果有一些代码可以包装/添加到我的应用程序中并防止这种情况发生，我将非常乐意。

Answer 1

您可以做的是创建一个短的“绊线”类型的模块，然后将其导入以及进行多处理。 如果跳线模块检测到多处理无限循环，将引发异常。

我的看起来像这样：

#mp_guard.py
"""tracks invocation by creating an environment variable; if that
variable exists when next called a loop is in progress"""

import os

class Brick(Exception):
    def __init__(self):
        Exception.__init__(self, "Your machine just narrowly avoided becoming"
                                 " a brick!")

if 'MP_GUARD' in os.environ:
    raise Brick

os.environ['MP_GUARD'] = 'active'

在主.py文件中：

import mp_guard

Answer 2

在Linux上，您可以使用setrlimit（2） syscall（带有RLIMIT_NPROC ）来限制进程数（例如，避免产生fork炸弹 ）。 该系统调用通过内置的bash ulimit （或zsh limit ）进行接口。 Python对此系统调用有一些约束 。

^{我不知道Windows下是否存在类似的东西。}

Answer 3

在Windows上，您可以创建“作业”，我不是python专家，所以我不知道创建Windows作业是否有任何绑定。 Windows API函数是CreateJobObject 。 作业对象（在某种程度上）与Unix“进程组”等效。 您可以对整个作业对象和每个流程分别应用某些限制（例如，作业中的最大流程）。 您可以创建一个作业对象，为其分配进程数限制，然后将自己的进程分配给该作业对象。 您可能正在寻找的是CreateJobObject ， SetInformationJobObject + JOBOBJECT_BASIC_LIMIT_INFORMATION + JOB_OBJECT_LIMIT_ACTIVE_PROCESS 。 再说一次：这是Windows API，我不确定您是否有与这些功能相关的python“绑定”。