nunique 的 Dask Grouby 性能太慢。 如何提高性能？

Question

我有超過 5GB 的大文件。 我以鑲木地板格式存儲它們。 當我對 600k+ 條記錄的小樣本集進行如下代碼所示的 groupby 操作時，Dask 耗時超過 6 分鍾，而 pandas 僅耗時 0.4 秒。 雖然我知道如果數據集適合 memory，pandas 會更快，但我的問題是，如果我將整個鑲木地板文件傳遞給 Dask dataframe，性能會提高嗎？

還建議我如何改進以下代碼，以便我可以在幾秒鍾而不是幾分鍾內運行。

示例：使用 Dask Dataframe

StartTime = datetime.datetime.now()
df = dd.read_parquet('201908.parquet', columns=['A', 'B'], engine='pyarrow')
print (len(df))
df = df.set_index ('A')
rs = df.groupby('A').B.nunique().nlargest(10).compute(scheduler='processes')
print (rs)
EndTime = datetime.datetime.now()
print ("Total Time Taken for processing: " + str(EndTime - StartTime))

Output 是：

606995
A
-3868378286825833950    7
 1230391617280615928    7
 381683316762598393     6
-5730635895723403090    5
 903278193888929465     5
 2861437302225712286    5
-9057855329515864244    4
-8963355998258854688    4
-7876321060385968364    4
-6825439721748529898    4
Name: B, dtype: int64
Total Time Taken for processing: 0:06:05.042146

使用 Pandas 的示例：

StartTime = datetime.datetime.now()
df = pd.read_parquet('201908.parquet', columns=['A', 'B'], engine='pyarrow')
print (len(df))
df = df.set_index ('A')
rs = df.groupby('A').B.nunique().nlargest(10)
print (rs)
EndTime = datetime.datetime.now()
print ("Total Time Taken for processing: " + str(EndTime - StartTime))

Output 是：

606995
A
-3868378286825833950    7
 1230391617280615928    7
 381683316762598393     6
-5730635895723403090    5
 903278193888929465     5
 2861437302225712286    5
-9057855329515864244    4
-8963355998258854688    4
-7876321060385968364    4
-6825439721748529898    4
Name: B, dtype: int64
Total Time Taken for processing: 0:00:00.419033

Answer 1

我相信對於 dask dataframe 的近似 groupby nunique 算法存在一個未解決的問題。 如果你特別感興趣，你可以研究一下。 Dask 數據幀的非 groupby nunique 算法要快得多。