如何使用dask提高并行计算的性能

Question

我有一个pandas数据框并转换为dask数据框

df.shape =（60893，2）

df2.shape =（7254909，2）

df['name_clean'] = df['Name'].apply(lambda x :re.sub('\W+','',x).lower(),meta=('x', 'str'))
names = df['name_clean'].drop_duplicates().values.compute()

df2['found'] = df2['name_clean2'].apply(lambda x: any(name in x for name in names),meta=('x','str')) ~ takes 834 ms

df2.head(10) ~ takes 3 min 54 sec

如何查看dask数据框的形状？

为什么.head（）需要这么多时间？ 我做对了吗？

Answer 1

您无法遍历dask.dataframe或dask.array。 您需要先调用.compute()方法将其转换为Pandas数据.compute() /系列或NumPy数组。

请注意，仅调用.compute()方法，然后忘记结果不会执行任何操作。 您需要将结果另存为变量。

dask_series = df.Name.apply(lambda x: re.sub('\W+', '', x).lower(), 
                            meta=('x', 'str')
pandas_series = dask_series.compute()

for name in pandas_series:
    ...