合並從python多進程調用函數返回的數據幀

Question

from multiprocessing import Pool

with Pool(processes=6) as p:
    p.starmap(update_tabl, zip(r))

我正在使用這里概述的方法： https : update_table並行調用函數update_table返回一個數據幀作為輸出。

如何連接所有這些數據框？ 如果我使用 for 循環但不確定如何並行執行，我可以使用pd.concat

Answer 1

您可以對星圖的結果進行連接：

with Pool(processes=6) as p:
    res = pd.concat(p.starmap(update_table, zip(rows)))
# do stuff with res

concat 不會並行發生，但是一旦星圖完成。