堆棧內存溢出
cost 293 ms
從 Airflow PostgresOperator 中的 conf 傳遞參數

[英]Passing Parameter from conf in Airflow PostgresOperator

想訪問API調用中數據傳入的config 想在 PostgresOperator 的 sqlquery 中訪問 seller_id 上述任務不返回任何數據。 但是當我將參數硬編碼為 有用。 還嘗試使用 sql 文件和參數，但沒有效果。 這種方法也行不通。 它將 {{ dag_run.conf["se ...

需要為 Airflow 與 Azure 連接的有效負載獲取正確的 URL

[英]Need to get proper URL for payloads for Airflow connected with Azure

我有四個文件main.py 、 jobs.zip 、 libs.zip和params.yaml ，這些我存儲在 Azure 存儲帳戶容器中。 現在我有了這段代碼，它正在制作一個有效負載，並將嘗試使用該有效負載運行一個 spark 作業。 該有效負載將具有這 4 個文件的位置鏈接。 我已經檢查了正確 ...

Airflow 1.10.15動態任務創建

[英]Airflow 1.10.15 dynamic task creation

我正在嘗試創建一個 DAG，它將根據上一個任務的結果生成 N 個任務。 問題是我無法在 Operator 之外使用上一個任務（在 XCom 中）返回的值有沒有辦法使這項工作？ ...

如何使用從創建並返回 DAG 供 UI 查看的模塊中導入的 function？

[英]How to use imported function from a module that creates and returns a DAG for UI to see?

我創建了一個名為dag_template_module.py的模塊，它使用指定的 arguments 返回 DAG。我想將此定義用於多個 DAG，做同樣的事情，但來自不同的來源（因此參數）。 dag_template_module.py的簡化版本： 現在我創建了一個hello_world_dag ...

如何通過 PostgresOperator 在配置模板中使用 conn_id 運行 Airflow dag？

[英]How to run Airflow dag with conn_id in config template by PostgresOperator?

我有一個帶有 PostgresOperator 的 Airflow dag 來執行 SQL 查詢。 我想使用配置（運行 w/config）切換到我的測試數據庫或我的產品數據庫。 但是 postgres_conn_id 不是模板字段，因此 PostgresOperator 說“{{ dag_run. ...

Apache-airflow 2.5.0：如何在 Python VirtualEnv Operator 中使用配置 JSON

[英]Apache-airflow 2.5.0: How to utilize config JSON in Python VirtualEnv Operator

我的 Apache airflow 版本是2.5.0。 我想訪問和使用在觸發 DAG 時設置的配置 json 的值。 我已經嘗試了以下給定的問題解決方案，但沒有一個有效。 配置在配置 json 部分： {“conf1”：“測試”} 我想在我的 Python VirtualEnv Operator ...

Airflow dag 在完成 stop_dag 任務后執行中間任務，如何停止其他任務想要依賴即使父任務沒有運行

[英]Airflow dag executing middle tasks after completing stop_dag task, how to stop other tasks want to dependency even though parent task did not ran

這是停止執行步驟后的圖像，突出顯示的步驟正在運行，沒有任何依賴性。 請在 stop_dag 任務運行完成后幫助停止其他任務。 ...

哪個 Aurora 表存儲 DAG 變量信息？

[英]Which Aurora table store DAG variable information?

我有一個 airflow DAG，它使用變量調用特定的 bash 命令。 在后端，我們有 Aurora DB。 我們是否知道Aurora DB中是否有存儲Airflow DAG中使用的變量信息的表？ 我需要從中創建一個報告，因此要求從后端訪問變量。 我嘗試使用 operational_insigh ...

在 SQL 表中遞歸遍歷 DAG

[英]Recursively walking a DAG in an SQL table

我有一個由兩種類型的節點Task和Subtask組成的圖。 這些列表與元數據一起存儲在兩個表TaskTable和SubTaskTable中（目前，我們可以假設一個名為“name”的元數據字符串列）。 Task下會有子任務，這些子任務將以 DAG 的形式連接起來。 Task A可能有 5 個子任 ...

Snakemake 規則的優先級高於所有其他規則

[英]Snakemake rule higher priority than all other rules

所以我知道為了設置規則優先級，你使用ruleorder 。 有沒有一種有效的方法可以使規則優先於所有其他規則？ 例如，假設我有規則a 、 b和c 。 我希望規則b比a和c具有更高的優先級。 除了手動執行ruleorder: b > c和ruleorder: b > a之外，我該怎么做？ ...

在 Networkx 中獲取權重組合邊

[英]Get weight combining edges in Networkx

您好，我正在使用 Networkx 和 Python 制作一些圖表。 從結構為“源”和“目標”的 a.CSV 中提取邊緣后，我得到了如下邊緣列表： 有沒有什么方法可以構建（在使用這些邊創建 MultiDiGraph 之后）一個有向圖，它結合了相等的邊，將權重作為相同邊的出現次數，結果如下： 我已經實 ...

Airflow 任務卡在“排隊”中 state。依賴項阻止任務被安排

[英]Airflow task stuck in 'queued' state. Dependencies Blocking Task From Getting Scheduled

我有以下 Airflow DAG，它將單個本地文件上傳到 S3 存儲桶中。 DAG 在 Airflow 中導入，沒有任何錯誤，但是當我嘗試強制運行時，它沒有執行任何操作，如下面的屏幕截圖所示： 當我檢查任務實例詳細信息時，它說“依賴項阻止任務被安排。DependencyReasonTask 實例 ...

如何讓 DAG 中的 sql 語句識別我正在從 Airflow 調用參數？

[英]How do I get the sql statement in the DAG to recognize that I'm calling a parameter from Airflow?

我想從 Airflow 調用 dag 運行時，但是，我的語法中的某些內容已關閉，我需要幫助來更正它。 我試過這個代碼片段 然后在 DAG 中調用它。 但它只是插入文本：'{{ data_interval_start }}'，而不是日期/ts ...

僅當全局變量設置為 true 時才運行任務

[英]run tasks only if global variable is set to true

我有一個看起來像這樣的 DAG： dag1: 然后我有一個全局 Airflow 變量"STATUS" 。 在運行clean步驟之前，我想檢查“STATUS”變量是否為真。 如果是這樣，那么我想繼續執行“清理”任務。 否則，我想一直等待 state，直到全局變量“STATUS”變為真。 是這樣的： ...

如果另一個 dag 完成，則在 dag 中運行下一個任務

[英]run next tasks in dag if another dag is complete

dag1: 我有一個 dag，我在那里運行一些任務。 但我想對其進行修改，以便僅當另一個 dag“dag2”目前未運行時才運行clean的步驟。 有什么方法可以導入關於我的“dag2”的信息，檢查它的狀態，如果它處於成功模式，我可以繼續執行clean的步驟，就像這樣： 如何實現wait_for_d ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM