不要在 Prefect 中重新運行以前的任務
[英]Do not rerun previous tasks in Prefect
問題描述
我如何告訴 Prefect 不要重新運行 DAG 中的所有先前任務？
1 個解決方案
解決方案1
0 2021-12-03 22:33:03
目標會將您帶到您想要的位置 go。 從文檔：
Prefect 中的目標是可模板化的位置字符串，用於檢查任務結果是否存在。 這在您可能希望任務僅將數據寫入某個位置一次或僅在存在某些數據時不重新運行的情況下很有用。 如果該位置存在結果，則任務運行將進入緩存的 state。
在您的任務裝飾器中，只需添加一個目標，如下所示：
@task(result=LocalResult(), target="{task_name}-{today}")
使用記錄器完成任務，如 prefect.tasks.database.sqlite.SQLiteQuery
[英]using logger for prefect Tasks like prefect.tasks.database.sqlite.SQLiteQuery
如果上游任務的輸入發生變化，在 Prefect 核心中是否有一種簡單的方法使緩存無效？
[英]In Prefect core is there a simple way to invalidate cache if input of upstream tasks change?
當任務依賴關系變得過時時，luigi可以重新運行任務嗎？
[英]Can luigi rerun tasks when the task dependencies become out of date?
如何在Python中每小時重新運行一個程序（同時執行多個任務）？
[英]How to rerun a program (while executing multiple tasks) every hour in Python?
Prefect：如何根據從參數派生的任務列表強制創建任務
[英]Prefect: How to imperatively create tasks based on a task list derived from a Parameter
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Prefect 中的循環任務
Prefect Flow 中的任務序列 Python
有沒有辦法在完美核心 1 中手動設置上游任務？
使用記錄器完成任務，如 prefect.tasks.database.sqlite.SQLiteQuery
如果上游任務的輸入發生變化，在 Prefect 核心中是否有一種簡單的方法使緩存無效？
如何在具有完美的流中緩存/定位具有相同名稱的任務？
完美的工作流程：如何保存以前/每個計划運行的數據？
當任務依賴關系變得過時時，luigi可以重新運行任務嗎？
如何在Python中每小時重新運行一個程序（同時執行多個任務）？
Prefect：如何根據從參數派生的任務列表強制創建任務
相關標簽