multiprocessing.Pool 产生太多线程

Question

如果我运行以下 python 代码

def dummy(t):
    A = np.random.rand(10000, 10000)
    inv = np.linalg.inv(A)
    return np.linalg.norm(inv)


if __name__ == "__main__":
    with multiprocessing.Pool(2) as pool:
        print(pool.map(dummy, range(20)))

产生了超过指定的 2 个进程，或者至少看起来是这样。 更具体地说，当我使用htop监控系统时，它显示所有线程都处于忙碌状态，即 100% 的 CPU 使用率。 我希望只有 2 个线程显示完全 100% 的使用率，但也许这个假设是错误的。

奇怪的是，如果矩阵大小增加（增加 10 倍），则只有 2 个指定的线程处于忙碌状态。

二手 python 版本：3.6.9 / 3.8.5。 机器：40核的skylake服务器。

Answer 1

正如@Booboo 的评论所暗示的那样，该示例包含未考虑的额外并行性。 numpy.linalg.inv调用很可能在后台使用了某种多线程。 因此，只有与Pool构造函数中指定的进程数一样多的硬件线程的假设是无效的。 如果额外并行的来源已知并且可以禁用，则可以实现预期的行为。