如何避免在Luigi中同时运行多个工作人员的特定任务

Question

我使用Luigi构建数据分析任务，包括matplotlib绘图。

似乎matplotlib绘图的并发运行会导致问题，由于某种原因导致问题过早地从任务中返回，什么都不做。 （看起来这是matplotlib的问题，虽然我可能错了。）

为了解决这个问题，我想避免在多个worker中运行其他任务的同时，只为同一个绘图任务运行多个worker。 我怎样才能做到这一点？

Answer 1

您可以使用资源 。 在/etc/luigi/client.cfg配置如下资源：

[resources]
mathplotlib: 1

然后，以这种方式修改您的任务：

class MyTask(luigi.Task):
    resources = {"mathplotlib": 1}

如果您有运行luigi worker的多台计算机并且您希望所有计算机上只有一个工作程序可能正在使用给定资源，那么您可以查看此解决方案 。