如何查看 Dask 计算任务的进度？

Question

当我使用 Dask 运行计算任务时，我想在 Jupyter notebook 上看到一个进度条，我正在计算一个 csv +4GB 大文件中id列的所有值，有什么想法吗？

import dask.dataframe as dd

df = dd.read_csv('data/train.csv')
df.id.count().compute()

Answer 1

如果您使用的是单机调度程序，请执行以下操作：

from dask.diagnostics import ProgressBar
ProgressBar().register()

如果您使用的是分布式调度程序，请执行以下操作：

from dask.distributed import progress

result = df.id.count.persist()
progress(result)

或者只是使用仪表板

Answer 2

此资源提供了两种情况（本地和分布式）的完整代码示例以及有关使用 Dask 仪表板的更多详细信息。

请注意，在 Jupyter 笔记本中工作时，您可能必须将ProgressBar().register()调用和您要跟踪的计算调用（例如df.set_index('id').persist() ）分开到两个单独的单元格中进度条实际出现。

做：

不要做：