如何使用 Python 多处理提高流程效率

Question

我有一个 function func_app ，它的参数是一个巨大的 Dataframe (df1)，有 17.000.000 行。 为了使过程更高效，我尝试使用多处理库，但它仍然需要很多时间和 memory 因为我需要在执行 function 之前执行 groupBy。 这个 GROUP BY 是为什么我不能在执行 function 之前将 Dataframe 分成更小的部分的原因，这将使事情变得更容易和更快，但我看不到摆脱它的方法。 有没有我没有想到的方法来解决这个问题？

下面是 python 中的部分代码：

def func_app(g):
    g = g[1].reset_index(drop=True)
    niv_app = g.reindex(columns=['A1','B1','B2','B3'])
    niv_app = niv_app.sort_values(by = ['A1','B1'],ascending = [True,False]).groupby('A1').head(1)
    niv_app = niv_app.reset_index(drop=True)
    g['B1_BIS'] = niv_app.loc[0,'B1']
    g['B2_BIS'] = niv_app.loc[0,'B2']
    g['B3_BIS'] = niv_app.loc[0,'B3']
    return g

with parallel_backend('loky', n_jobs=dict_download['num_cores']):
    var = Parallel(verbose=5)(delayed(func_app)(g) for g in df1.groupby(['A1','A2']))
print('\nManaging results...')
df_output = pd.concat(var, sort=False)

谢谢你！