Python 中的 multiprocessing.dummy 未使用 100% cpu

Question

我正在用 Python 做一个机器学习项目，所以我必须做并行预测函数，我在我的程序中使用它。

from multiprocessing.dummy import Pool
from multiprocessing import cpu_count


def multi_predict(X, predict, *args, **kwargs):
    pool = Pool(cpu_count())
    results = pool.map(predict, X)
    pool.close()
    pool.join()
    return results

问题是我所有的 CPU 只加载了 20-40%（总而言之是 100%）。 我使用 multiprocessing.dummy 是因为酸洗功能中的 multiprocessing 模块存在一些问题。

Answer 1

当您使用multiprocessing.dummy ，您使用的是线程，而不是进程：

multiprocessing.dummy复制的API multiprocessing ，但不超过周围的包装threading模块。

这意味着您受到Global Interpreter Lock (GIL) 的限制，并且一次实际上只有一个线程可以执行 CPU 密集型操作。 这将阻止您充分利用您的 CPU。 如果您想在所有可用内核之间获得完全并行性，您将需要解决使用multiprocessing.Pool遇到的酸洗问题。

请注意，如果您需要并行化的工作是 IO 绑定的，或者使用释放 GIL 的 C 扩展，则multiprocessing.dummy可能仍然有用。 但是，对于纯 Python 代码，您将需要multiprocessing 。