Airflow PostgresOperator SQL 參數語法錯誤

[英]Airflow PostgresOperator SQL parameter syntax error

我的 DAG 中有以下任務： 但是當我測試任務時，我得到這個錯誤： psycopg2.errors.SyntaxError：“src”處或附近的語法錯誤第 1 行：src/test.sql test.sql腳本內容為： 我無法指出語法中的錯誤，但那是因為它是我的第一個 DAG。 任何幫助將不勝感 ...

如何在 airflow 中為 postgres operator 創建動態任務映射？

[英]How to create dynamic task mapping for postgres operator in airflow?

我是 AirFlow 的新手，我正在嘗試創建 8 個非常相似的任務。 我讀過有關 expand() 方法的信息，但我不太確定如何將它用於 PostgresOperator？ 所以我有這個任務： 我需要創建類似的任務，只是它們必須有load_something_2 、 load_something_ ...

在 SQL 查詢的“in”子句中轉換 xcom_pull 列表

[英]Convert xcom_pull list in the "in" clause of SQL query

我正在使用 Apache Airflow 和帶有 2 個任務的 DAG。 任務 1 使用SELECT查詢提取 id 列表，並使用xcom_push設置結果。 任務 2 需要xcom_pull該列表並將其轉換為逗號分隔的字符串，並在UPDATE查詢的IN子句中使用它。 但是，我無法使用xcom_pul ...

CrunchyData Postgres 操作員 Pod 始終處於掛起狀態

[英]CrunchyData Postgres operator Pod always in pending state

我正在嘗試使用 CrunchyData Postgres 運算符設置 Postgres 集群。 我面臨 pod backrest-shared-repo始終處於Pending狀態的問題。 在調試時我發現PersistentVolumeClaim也處於掛起狀態。 PVC的事件如下： PVC ...

從指向主 pod 的 K8s 服務檢索連接字符串時出錯

[英]Error while retrieving the connections string from the K8s service that is pointing to master pod

我正在嘗試從指向 Minikube 中的主 pod 的 K8s 服務檢索連接字符串。 我試圖執行這個： 但我收到以下錯誤： ...

使用語句超時運行 postgres 運算符 airflow dag

[英]Run postgres operator with statement timeout airflow dag

所以我一直在嘗試在我的 DAG 上運行 2 個 postgres 運算符，看起來像這樣： 當我嘗試運行 temp_settlement 時，我總是收到語句超時，有什么辦法可以保持 statement_timeout=0 嗎？ 謝謝 ...

如何使用for循環在PostgresOperator Airflow中傳遞參數

[英]How to pass parameter in PostgresOperator Airflow using for loop

我正在使用 PostgresOperator，我想將表名后綴傳遞給我的 SQL 查詢，因此當它查詢數據時，它會從 for 循環迭代中動態讀取 所以正如你所看到的，我已經在 task_id 中傳遞了.format(country)。 我想通過像下面的 SQL 聲明中那樣傳遞國家名稱來做類似的事情，但似 ...