如果下一個文件已經完成，則 luigi 任務失敗

Question

我有一個用 Luigi 構建的管道，其中一些任務需要其他任務，每個任務都會創建一個文件。 就像是：

TaskA-------->TaskB---------> TaskC-------->TaskD
(fileA)      (fileB)         (fileC)       (fileD)

我第一次運行管道時，一切運行良好並被創建。

如果我再次運行管道，則因為 TaskD 已經完成，所以什么也不會運行。

如果我手動刪除 fileB（由 TaskB 制作），我希望它會被重新創建並且其他所有東西都在運行，但管道會失敗。

是的，fileB 被重新創建，但 TaskC 失敗，錯誤消息說 fileC 已經存在。

有沒有辦法再次重新創建后續文件？ 或者fileC被覆蓋？

Answer 1

您所描述的正是 Luigi 設置運行的方式。 當您指定要運行的任務（在luigi.build或 cli 中）時，您是在指定需要完成哪些任務以使 Luigi 認為其工作已完成。 Luigi 不會關心你的管道，除非你告訴它。 一種方法是將您關心的所有任務通知 Luigi，在本例中似乎是 TaskB 和 Task D。因此，它看起來像：

luigi.build([TaskD(...), TaskB(...)])