Prefect 如何等待外部依賴

Question

我有一個完美的流程，我想在出現特定文件時運行它。 使用 Luigi 之類的東西，您可以創建一個 ExternalTask​​ 來輸出該文件，然后對其施加依賴。 Prefect 中的標准模式是什么？

Answer 1

根據您的用例，有幾個選項：

• 創建一個等待任務：在這種情況下，您可以為您的流編寫一個根任務，等待外部依賴/條件得到滿足，然后返回。 只要其他任務依賴於這個任務，它們就不會運行，直到此任務完成。
• 使用 GraphQL API：Prefect Server 和 Cloud 都有一個功能齊全的 GraphQL API，用於通過流和運行執行許多常見操作。 在這種情況下，您可以在滿足外部條件（可能使用描述條件的Parameter值）時調用create_flow_run來創建流的臨時運行。 有關此模式的更多討論，請查看此 stackoverflow 問題