Python如何并行化循环

Question

我对多线程和多处理非常陌生，并试图使 for 循环并行。 我搜索了类似的问题，并基于多处理模块创建了代码。

import timeit, multiprocessing

start_time = timeit.default_timer()

d1 = dict( (i,tuple([i*0.1,i*0.2,i*0.3])) for i in range(500000) )
d2={}

def fun1(gn):
    for i in gn:
        x,y,z = d1[i]
        d2.update({i:((x+y+z)/3)})


if __name__ == '__main__':
    gen1 = [x for x in d1.keys()]
    fun1(gen1)
    #p= multiprocessing.Pool(3)
    #p.map(fun1,gen1)

    print('Script finished')
    stop_time = timeit.default_timer()
    print(stop_time - start_time)

# 输出：

Script finished
0.8113944193950299

如果我更改代码，如：

#fun1(gen1)
p= multiprocessing.Pool(5)
p.map(fun1,gen1)

我收到错误：

for i in gn:
TypeError: 'int' object is not iterable
"""

The above exception was the direct cause of the following exception:

Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
    raise self._value

任何想法如何使这个平行？ MATLAB 有一个parfor选项来创建并行循环。 我正在尝试使用这种方法使循环并行，但它不起作用。 任何想法如何使循环并行？ 另外，如果函数返回一个值怎么a,b,c=p.map(fun1,gen1)如果fun1()返回 3 个值a,b,c=p.map(fun1,gen1)我可以写类似a,b,c=p.map(fun1,gen1)吗？

（在 Windows python 3.6 上运行）

Answer 1

p.map为您执行循环，因此删除for i in gn:中的for i in gn: 。

也就是说， p.map适用fun1到的每个元素gen1 ，所以gn是这些元素中的一个。

Answer 2

正如@Alex Hall 提到的，从fun1删除迭代。 另外，等到所有池的工作人员完成。

PEP8 注意： import timeit, multiprocessing是不好的做法，将其拆分为两行。

import multiprocessing
import timeit


start_time = timeit.default_timer()

d1 = dict( (i,tuple([i*0.1,i*0.2,i*0.3])) for i in range(500000) )
d2 = {}

def fun1(gn):
    x,y,z = d1[gn]
    d2.update({gn: ((x+y+z)/3)})


if __name__ == '__main__':
    gen1 = [x for x in d1.keys()]

    # serial processing
    for gn in gen1:
        fun1(gn)

    # paralel processing
    p = multiprocessing.Pool(3)
    p.map(fun1, gen1)
    p.close()
    p.join()

    print('Script finished')
    stop_time = timeit.default_timer()
    print(stop_time - start_time)