luigi 如何处理任务失败？

Question

我开始使用路易吉。 我已经构建了一个可以执行多项任务的管道，并且我已经足够小心以确保任务运行良好。 所以管道运行良好。 在构建管道时，在任务失败的时候，他们会收到:(报告，我编辑它们直到它们工作正常。

所以假设我有一个管道

Task1-->Task2--> Task3

在这种情况下，如果 Task2 失败，则不会执行 Task3 并且管道在那里停止。 通常是因为写入 Task2 时出错。

现在假设有 5 个“Task1”、5 个“Task2”和一个“Task3”。 所以 Task3 是一种摘要任务。

我希望我的管道在出现故障时不要停止，而是跳过（并可能记录故障）并继续下一个案例。 （这些“失败”不是因为任务写得不好，而是因为假设输入到这些任务的数据在真实情况下已损坏）

就像是

在那里您可以看到 Task1 在 Task2 之前执行。 标记为红色的任务是“失败”。

所以我希望管道做的是执行任务 1 和任务 2，记录是否有失败并继续，最后用任务 3 总结（甚至包括某种报告有失败）

我怎样才能用 Luigi 做到这一点？

Answer 1

我认为你必须在你的可选任务中添加一个 try/except 语句，这样当它们失败时，它们仍然会生成一个虚拟输出，而 luigi 认为它们很好。

Answer 2

在路易吉你有活动。 我想你可以使用失败事件并管理那里的错误。 您可以生成将作为失败任务的检查点的文件，并记录您喜欢的消息。

官方文档： https : //luigi.readthedocs.io/en/stable/tasks.html#events-and-callbacks

@luigi.contrib.hadoop.JobTask.event_handler(luigi.Event.FAILURE)
def mourn_failure(task, exception):
    """Will be called directly after a failed execution
       of `run` on any JobTask subclass
    """
    ...