堆棧內存溢出
cost 212 ms
利用 AWS SSM 參數存儲進行 API 調用的安全方法

[英]Secure way to utilize AWS SSM parameter store to make API call

我需要編寫一個 lambda function，它使用存儲在 AWS SSM 參數存儲中的憑據進行 API 調用（對 Airflow）。 我已獲得憑據的密鑰 ID。 我如何安全地查詢憑據並將它們（再次安全地）集成到 API 調用中？ 這是在正確的軌道上嗎： ...

airflow API 獲取所有未暫停/正在運行的數據

[英]airflow API get all unpaused/running dags

如何使用 airflow API 獲取所有未暫停（正在運行）的 dag 的列表？ 我試過GET /dags endpoints 但我沒有找到一個查詢字符串來過濾暫停的 dags，是不是有類似is_paused查詢參數或 body 參數的東西？ PS 我目前使用的是 airflow 版本 2.2.3 ...

我可以使用 REST API 動態創建 Airflow DAG 嗎？

[英]Can I create a Airflow DAG dynamically using REST API?

是否可以僅使用 REST API 以編程方式創建 Airflow DAG？ 背景我們有一個模型集合，每個 model 包括： model需要運行的SQL個文件的集合我們還為每個 model 保留一個 JSON 文件，它定義了每個 SQL 文件之間的依賴關系。 這些腳本通過 Python job. ...

Airflow 2.3 中帶有裝飾器的動態任務映射

[英]Dynamic Task Mapping with Decorators in Airflow 2.3

我希望整個任務組在單個任務的 output 上運行，其中任務和任務組分別通過裝飾器定義 - @task 和 @task_group。 有點類似 為此，我更新了 Airflow 提供的示例之一。 get的 output 是固定的，但實際上它會有所不同：import json from datetim ...

如何從 GCP 中的雲作曲家（氣流環境）獲取 DAGS 列表及其預定時間？

[英]How to get the list of DAGS and their scheduled time from cloud composer (airflow environment) in GCP?

我相信可以有一個日志來存儲所有 dags 及其各自的數據。 我需要一個 dags 列表及其計划時間，預期的代碼可以是任何格式，python 或 shell 命令。 謝謝。 ...

GCSFileTransformOperator的transform_script的可執行轉換腳本的結構是什么？

[英]What is the structure of the executable transformation script for transform_script of GCSFileTransformOperator?

目前正在處理 Airflow 中的一項任務，該任務需要使用 GCSFileTransformOperator 預處理大型 csv 文件。 閱讀有關該類及其實現的文檔，但不太了解 transform_script 的可執行轉換腳本應如何構建。 例如，以下腳本結構是否正確？ 如果是這樣，這是否意味着使 ...

使用氣流運算符創建數據過程時無法連接到 dpms

[英]Couldn't connect to dpms while creating dataproc using airflow operator

我為 dataproc 元存儲創建了一項服務（與作曲家在同一個項目中）並嘗試使用它而不是我的配置單元倉庫。 我可以使用 gcloud 命令成功運行它，但是當我嘗試使用任何氣流操作符（如 DataprocClusterCreateOperator 或 DataprocCreateClusterOper ...

如何在沒有 Airflow UI 的情況下獲取 airflow DAG 的狀態

[英]How to get status of airflow DAGs without Airflow UI

Airflow UI 非常方便地檢查 Airflow DAG 進度的狀態。 Airflow Rest API 是另一種檢查 Airflow DAG 狀態的方法，但它需要身份驗證令牌。 我們可以從 Airflow UI 獲取身份驗證令牌，但是如果 Airflow UI 關閉，將很難獲取身份驗證令牌 ...

手動觸發期間氣流取消暫停

[英]Airflow unpause dag during manual trigger

我正在使用 Airflow 2.2.2 並且有一個計划每 10 分鍾運行一次並暫停的 dag。 我正在嘗試使用氣流客戶端手動調用它。 Dag 沒有被取消暫停，並且 dagrun 處於排隊狀態。 是否可以在創建 dag 運行時使用氣流客戶端取消暫停 dag 而無需調用額外的 API 調用。 ...

刪除 airflow.db 文件安全嗎？

[英]Is it safe to delete airflow.db file?

我無法登錄 airflow 的 web 用戶界面。我總是收到此Invalid login error 。 當我運行airflow users list時，用戶就在那里。 所以我的選擇是刪除airflow.db並再次運行airflow db init 。 我想知道這樣做是否安全？ ...

打 Airflow API 在Astronomer雲上運行

[英]Hitting the Airflow API running on Astronomer cloud

我們目前有 airflow 個 DAG 在 Astronomer 雲實例上運行，我們正在嘗試開發最終會觸發這些 DAG 的外部函數。 為此參考文檔 → 向 Airflow REST API 提出請求 | 天文學家文獻調用 API 意味着發送一個 HTTP 請求到：https://[AIRFLOW-D ...

Airflow 2：使用task_id檢查任務是否仍然存在

[英]Airflow 2: Check if a task still exists or not with task_id

我們已經為傳感器操作創建了一個任務，但任務名稱會動態更新。 即，f“{table_name}_s3_exists”。 我們有一個場景，我們必須檢查桌子的位置兩次，但如果任務仍然存在，我們就不必創建傳感器。 有沒有辦法在構建過程中查找任務是否存在於 DAG 中？ ...

如何通過 slack 獲取 EMR 失敗的確切原因？

[英]How to get exact reason for failure in EMR through slack?

當我的 pyspark 代碼/引導程序因 EMR 失敗的確切原因而失敗時，我需要一個松弛通知。 我正在使用 airflow 2.0，我正在使用 on_failure_callback=task_fail_slack_alert 來通知 slack。 但它沒有通知。 我的參數正確嗎？ 我收到失敗通知 ...

分支觸發規則 all_success 或 none_failed 不起作用，即使不應該執行任務也會執行

[英]branch trigger rule all_success or none_failed does not work, task gets executed even if it is not supposed to

我有一個 airflow DAG，如下所示 任務 1、2、6、7、8 是線性的，中間有 3、4、5 的 2 個並行作業。 無論 state 上游任務是什么，我都需要運行 task_6，所以我將 branch_trigger_rule 設置為“all_done”，它工作正常 - 如果上游全部成功或某些 ...

如何在 airflow 中使用 airflow REST API 類型的外部提供商（如谷歌雲平台）創建連接器

[英]How to create connector in airflow that is of type external provider (like the google-cloud-plaform) with the airflow REST API

我正在嘗試通過 github 操作在 airflow 中自動創建連接器，但由於它是外部提供程序，因此需要發送到 airflow REST API 的有效負載不起作用，我沒有找到有關如何操作的任何文檔它。 所以這是我要發送的有效載荷： 根據此處的 airflow 文檔我在 airflow UI 的“創 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM