Python多处理库Pool.map（）

Question

def myfun(a):
return a*2

p=Pool(5)

k0=time.time()
p.map(myfun,[1,2,3,4,5,6,7,8,9,10,1,2,3,4,5,6,7,8,9,10])
k1=time.time()
print(k1-k0)

k0=time.time()
for i in [1,2,3,4,5,6,7,8,9,10,1,2,3,4,5,6,7,8,9,10]:
  myfun(i)
k1=time.time()
print(k1-k0)

我在python中使用多处理程序包。 如您所见，我分别执行了两个不同的代码片段。第一个使用Pool.map的代码比第二个连续执行的代码要花费更多的时间。 谁能向我解释为什么？ 我认为p.map（）会更快。 不并行执行吗？

Answer 1

确实如注释中所述，对于具有multiprocessing某些任务，并行运行需要更长的时间。 对于非常小的任务，这是预期的。 原因是您必须为使用的每个工作程序在每个进程上启动一个python实例，并且还必须序列化并交付通过map发送的函数和数据。 这需要一些时间，因此使用multiprocessing.Pool产生开销。 对于非常快速的任务，我建议使用线程的multiprocessing.dummy.Pool ，从而最大程度地减少设置开销。

尝试将time.sleep(x)放入函数调用中，并更改x 。 您会看到，随着x增加，该函数变得更适合在线程池中运行，然后在进程池中运行甚至更昂贵的x 。