隐藏 Dask 时性能下降 do Pandas - compute()

Question

我正在阅读 python 中的一个大文本文件。

使用 Dask 来提高内存性能。

但是当使用 df.compute() 将 Dask dataframe 转换为 Pandas 时。 因为我需要通过 Pandas 执行大量转换。

我检查了 df.compute() 之后的 memory 使用量（guppy3）提高了 5 倍。

df = dd.read_csv('some_big_file - Copy.csv', sep = '|', names = names)

j = hpy()
print(j.heap())     
##checked only 45mb memory

df = df.compute() 

j = hpy()
print(j.heap())
##Checked almost 230mb memory usage

我错过了什么？

Answer 1

Running df = df.compute() brings the dataframe into memory, while before the dataframe was lazy , so Python/dask only knew how to access the dataframe, but did not load it into memory.