附加多列时，什么解释了 DataFrame.assign(**kwargs) 和 dd[x]=y 之间的 Dask 性能差异？

Question

While migrating some code from Pandas to Dask I found an enormous performance difference between modifying a Dask dataframe by calling DataFrame.assign() with multiple columns vs modifying it with multiple DataFrame.__setitem__() (aka dataframe dataframe[x]=y ) calls.

有进口

import pandas, dask, cProfile

对于 Dask dataframe 定义为：

dd = dask.dataframe.from_pandas(pandas.DataFrame({'a':[1]}), npartitions=1)

cProfile.run('for i in range(100): dd["c"+str(i)]=dd["a"]+i')

耗时 1.436 秒

尽管

cProfile.run('dd.assign(**{"c"+str(i):dd["a"]+i for i in range(100)})')

仅需 0.211 秒。 6.8 倍的差异。

我已经尝试使用pyprof2calltree查看统计信息，但无法理解。

是什么解释了这种差异？ 更重要的是，有什么方法可以在不必重构重复使用 dd[x]=y 的代码的情况下获得assign性能？

这对于大型数据集可能无关紧要或发生，我没有检查过，但它适用于单行（为什么我关心 Dask 对单行快速是一个单独的主题）。

对于上下文，Pandas 也存在差异，但要小得多：

df = pandas.DataFrame({'a':[1]})

cProfile.run('for i in range (100): df["c"+str(i)]=df["a"]+i')

耗时 0.116 秒。

cProfile.run('df.assign(**{"c"+str(i):df["a"]+i for i in range(100)})')

耗时 0.096 秒。 只有 1.2 倍。

Answer 1

两个主要原因：

1. 与assign中的单个附加任务相比，for 循环生成更大的任务图（循环中的每个项目一个新层）。
2. DataFrame.__setitem__ is actually implemented in terms of assign: https://github.com/dask/dask/blob/366c7998398bc778c4aa5f4b6bb22c25b584fbc1/dask/dataframe/core.py#L3424-L3432 , so you end up calling the same code, just many更多次。 每个分配都与 pandas 中的一个副本相关联。

我已经尝试使用 pyprof2calltree 查看统计信息，但无法理解。

像这样的分析器（基于 cProfile 构建）不太适合分析像 Dask 这样的并行代码。