如何确保在python多重处理中使用所有处理器？

Question

我是多处理概念的新手。

我的密码

from multiprocessing import Process
def square(x):

    for x in numbers:
        print('%s squared  is  %s' % (x, x**2))

if __name__ == '__main__':
    numbers = [43, 50, 5, 98, 34, 35]

    p = Process(target=square, args=('x',))
    p.start()
    p.join
    print "Done"

结果

Done
43 squared  is  1849
50 squared  is  2500
5 squared  is  25
98 squared  is  9604
34 squared  is  1156
35 squared  is  1225

我了解，我们可以使用multiprocessing.cpu_count()获取系统中的cpu数量

但是，我未能实现2项有趣的事情。 -

1. 将所有任务平均分配到所有cpu中
2. 检查哪个进程使用了​​哪个CPU

Answer 1

您的示例中有几处不对劲。

• 您仅启动一个子流程，该子流程的任务是处理所有数字。
• 您缺少p.join()的括号，因此永远不会等待该过程（这就是为什么先打印Done原因）。

您应该改为使用multiprocessing.Pool ，类似这样。

from multiprocessing import Pool

def square(x):
    print('%s squared is %s' % (x, x**2))


if __name__ == '__main__':
    numbers = range(1, 1000, 50)

    with Pool() as p:
        for value in p.imap_unordered(square, numbers):
            # You could do something with the 
            # return value from `square` here.
            pass  

    print("Done")

该输出（例如–不能保证订单）

1 squared is 1
51 squared is 2601
101 squared is 10201
151 squared is 22801
201 squared is 40401
251 squared is 63001
401 squared is 160801
451 squared is 203401
501 squared is 251001
301 squared is 90601
551 squared is 303601
601 squared is 361201
351 squared is 123201
651 squared is 423801
701 squared is 491401
751 squared is 564001
801 squared is 641601
851 squared is 724201
901 squared is 811801
951 squared is 904401
Done

• Pool()默认使用cpu_count进程，因此您不必为此担心。
• square()现在仅处理一个数字。 它应该真正返回它进行打印和处理，而不是单独打印，但这是一个简单的示例。
• 您可以在Pool上使用.map() .imap()或其他一些方法； 我选择.imap_unordered()是因为我不在乎获取这些值的顺序（此外，无论如何我都不会对其进行任何操作）。

但是，没有什么特别的将单个进程“锁定”到单个CPU，毕竟，单个进程可能利用了多个线程，OS调度程序可以将这些线程调度到不同的CPU上。 不过，不同的OS都有API来限制每个进程（和线程）的处理器。 如果您真的需要，可以深入研究。