Luigi：使用构建函数并行化Luigi任务时出错

Question

我正在尝试通过使用luigi.build方法来实现luigi多处理功能。 但执行时出现一些库错误。

对于self._add（item，is_complete）中的下一个：_add self._validate_dependency（d）文件中的文件“ /home/manoj/anaconda2/lib/python2.7/site-packages/luigi/worker.py”，第604行_validate_dependency中的“ /home/manoj/anaconda2/lib/python2.7/site-packages/luigi/worker.py”，第622行，引发Exception（'requires（）必须返回Task对象'）

这是我试图实现我的目标的一段代码。

 import luigi class TaskOne(luigi.Task): custid= luigi.Parameter() def requires(self): pass def output(self): return luigi.LocalTarget("logs/"+str(self.custid)+"_success") def run(self): with self.output().open('w') as f: f.write("%s\\n" % '') class TaskTwo(luigi.Task): def requires(self): customersList = ['A','B', 'C', 'D', 'E', 'F', 'G', 'H', 'I'] yield luigi.build([TaskOne(custid=cust_id) for cust_id in customersList], workers=2) def output(self): return luigi.LocalTarget("logs/overall_success.txt") def run(self): with self.output().open('w') as f: f.write("%s\\n" % "success") if __name__ == '__main__': luigi.run() 

================================================== ======================

Answer 1

为什么您认为需要内置需求？

class TaskTwo(luigi.Task):  
  def requires(self): 
    customersList = ['A','B', 'C', 'D', 'E', 'F', 'G', 'H', 'I']
    return [TaskOne(custid=cust_id) for cust_id in customersList]

如果需要多个工作程序，则可以在启动管道时在命令行中指定此工作程序。

luigi --module your_module TaskTwo --workers 2

Answer 2

luigi.Task requires()必须返回luigi.Task对象或luigi.Task对象列表。 但是， luigi.build()不返回任何内容。 您无需调用luigi.build即可显式运行任务，因为Luigi自行处理运行需求。 https://luigi.readthedocs.io/en/stable/tasks.html中概述的示例任务显示了其工作方式的基本范例。

另外，您应该从TaskOne省略TaskOne requires() 。 如果没有依赖项，则无需定义它。