为什么多处理的每个进程开销不断增加？

Question

我数次在 for 循环中计算一个 6 核 CPU 和 12 个逻辑 CPU，直到非常高的数字。

为了加快速度，我使用了多处理。 我期待类似的东西：

• 进程数 <= CPU 数 = 时间相同
• 进程数 + 1 = CPU 数 = 时间加倍

我发现的是时间的持续增加。 我很困惑。

代码是：

#!/usr/bin/python

from multiprocessing import Process, Queue
import random
from timeit import default_timer as timer

def rand_val():
    num = []
    for i in range(200000000):
        num = random.random()
    print('done')

def main():

    for iii in range(15):
        processes = [Process(target=rand_val) for _ in range(iii)]
        start = timer()
        for p in processes:
            p.start()

        for p in processes:
            p.join()

        end = timer()
        print(f'elapsed time: {end - start}')
        print('for ' + str(iii))
        print('')

if __name__ == "__main__":
    main()
    print('done')

结果：

• 经过时间：14.9477102 为 1
• 经过时间：15.4961154 为 2
• 经过时间：16.9633134 为 3
• 经过时间：18.723183399999996 为 4
• 经过时间：21.568377299999995 为 5
• 经过时间：24.126758499999994 为 6
• 经过时间：29.142095499999996 为 7
• 经过时间：33.175509300000016 为 8

. . .

• 经过时间：11 为 44.629786800000005
• 经过时间：12 为 46.22480710000002
• 经过时间：13 为 50.44349420000003
• 经过时间：54.61919949999998 为 14

Answer 1

我不明白你想要达到什么目的？

您正在进行相同的工作，并运行 X 次，其中 X 是循环中 SMP 的数量。 您应该将工作除以 X，然后将一个块发送到每个 SMP 单元。

无论如何，关于您正在观察的内容 - 您会看到生成和关闭单独进程所需的时间。 Python 无法快速启动新流程。

Answer 2

你有两个错误的假设：

1. 流程不是免费的。 仅仅添加进程会增加程序的开销。
2. 进程不拥有 CPU。 CPU 交错执行多个进程。

第一点是为什么您会看到一些开销，即使进程少于 CPU。 请注意，您的系统通常有多个后台进程正在运行，因此对于单个应用程序来说，“进程少于 CPU”这一点并不明确。

第二点是为什么当进程多于 CPU 时执行时间会逐渐增加。 任何运行主线 Python 的操作系统都会对进程进行抢占式多任务处理； 粗略地说，这意味着一个进程在完成之前不会阻塞 CPU，而是定期暂停，以便其他进程可以运行。
实际上，这意味着多个进程可以同时在一个 CPU 上运行。 由于 CPU 每次仍然只能完成固定数量的工作，因此所有进程都需要更长的时间才能完成。

Answer 3

你的测试有问题。

想象一下，一个农民用一台拖拉机耕种 10km^2 的农田需要 1 天时间。 如果有两个农民在 20 公里^2 的农场工作，你为什么期望两个农民使用两台拖拉机在两倍的农田上工作花费更少的时间？

你有 6 个 CPU 核心，你的村庄有 6 辆拖拉机，但没有人有钱购买私人拖拉机。 随着村里工人（工序）数量的增加，拖拉机的数量保持不变，所以每个人都必须分享有限数量的拖拉机。

在一个理想的世界中，两个农民使用两台拖拉机工作两倍的工作量与一个农民工作一部分工作所花费的时间完全相同，但在真实的计算机中，即使机器看起来空闲，机器也有其他工作要做。 有任务切换，操作系统 kernel 必须运行和监控硬件设备，memory 缓存需要在 CPU 内核之间刷新和失效，你的浏览器需要运行，村长正在开会讨论谁应该得到拖拉机以及什么时候， ETC。

随着工人数量的增加超过拖拉机的数量，农民不只是为自己独占拖拉机。 相反，他们做了一个安排，每三个小时左右就可以通过拖拉机。 这意味着第七个农民不必等待两天来获得他们的拖拉机时间。 但是，在农田之间转移拖拉机是有成本的，就像 CPU 在进程之间切换一样有成本； 任务切换太频繁，CPU 实际上并没有在工作，并且不经常切换，你会遇到资源匮乏，因为某些工作需要很长时间才能开始工作。

一个更明智的测试是保持耕地面积不变，只增加农民的数量。 在您的代码中，这将对应于此更改：

def rand_val(num_workers):
    num = []
    for i in range(200000000 / num_workers):
        num = random.random()
    print('done')

def main():
    for iii in range(15):
        processes = [Process(target=lambda: rand_val(iii)) for _ in range(iii)]
        ...