如何將任意文件 SHA 放入 Airflow 的 GithubOperator？

[英]How to get an arbitrary file SHA into Airflow's GithubOperator?

看起來這應該是 GithubOperator 的一個相當標准的用例，所以我一定遺漏了一些明顯的東西。 這當然不難做到！ 高級任務：使用 Airflow，在某個任意 Github 存儲庫上編排某個任意文件內容的更新。 嘗試實施：Github API 需要現有文件的 SHA hash 才能更新它。 我 ...

Apache airflow xcom 可變任務 ID

[英]Apache airflow xcom for variable task id

我目前正在從事一個項目，該項目涉及將數據從 S3 階段位置復制到我們由 snowflake 管理的表。 但是，如果我只有 1 個表可以將數據復制到（因為我只需要 1 個任務組，因此可以對組名進行硬編碼），它才能正常工作。 當我有 2 個或更多表時，我遇到了 xcom 進程的問題，我不知道如何讓每個 ...

將 airflow 用於 2 個任務，我遇到了運行問題

[英]Use airflow for 2 task and i have a problem for run

我想將 airflow 用於 2 個任務：第一個是 openweathermap 中的請求，我每 100 萬個文件創建 json，第二個使用最后 20 個文件並創建一個新文件：溫度鍵值、城市鍵值和壓力核心價值。 我想運行第一個任務和第二個任務之后。 我不知道為什么我有錯誤。 我想，我的代碼有問題，也 ...

在 BigQueryToGCSOperator 中使用 xcom 推送值作為參數

[英]Using xcom pushed value as parameter in BigQueryToGCSOperator

我需要計算表中的行數，並在導出到 GCS 的文件名中使用行數。 以下是我的 DAG 的摘錄。 可以看出，我在通過 PythonOperator 調用prepareSegmentTables時將ROW_COUNTS推入 xcom。 當我在另一個 PythonOperator 中執行 xcom_pull ...