Dask ProgressBar 不适用于分布式后端

Question

进度条在与multiprocessing后端一起使用时效果很好，但在使用distributed调度程序作为后端时似乎根本不起作用。

有没有解决的办法？ 还是另一种解决方案？ distributed package 本身有一些进度条，但它们都需要一个 futures 列表才能工作。

Answer 1

关键区别在于，使用多线程/处理时，结果将通过管道传输回控制线程，而使用分布式时，结果将在群集上异步计算（即使在本地计算机上也是如此）。 如果您以前有类似的代码

with ProgressBar():
    out = collection.compute()

现在你可以做

from dask.distributed import progress
out = c.compute(collection)   # c is the client
progress(out)

并收集结果： out.result()或c.gather(out)

请注意，分布式调度程序还在http：// yourhost：8787上提供了图形仪表板，例如，请参见status /下的内容。 在这里，您可以看到您的任务正在执行，而无需调用进度条。

Answer 2

有 一个解决方案链接到这个 tqdm 问题（一个流行的进度条包），希望在某个时候合并： https://github.com/tqdm/tqdm/issues/1230