合并从python多进程调用函数返回的数据帧

Question

from multiprocessing import Pool

with Pool(processes=6) as p:
    p.starmap(update_tabl, zip(r))

我正在使用这里概述的方法： https : update_table并行调用函数update_table返回一个数据帧作为输出。

如何连接所有这些数据框？ 如果我使用 for 循环但不确定如何并行执行，我可以使用pd.concat

Answer 1

您可以对星图的结果进行连接：

with Pool(processes=6) as p:
    res = pd.concat(p.starmap(update_table, zip(rows)))
# do stuff with res

concat 不会并行发生，但是一旦星图完成。