如何將任意文件 SHA 放入 Airflow 的 GithubOperator？
[英]How to get an arbitrary file SHA into Airflow's GithubOperator?
看起來這應該是 GithubOperator 的一個相當標准的用例，所以我一定遺漏了一些明顯的東西。 這當然不難做到！ 高級任務：使用 Airflow，在某個任意 Github 存儲庫上編排某個任意文件內容的更新。 嘗試實施：Github API 需要現有文件的 SHA hash 才能更新它。 我 ...
Airflow Dag 使用 python 運算符將文件從一個文件夾復制到本地系統中的另一個文件夾
[英]Airflow Dag using python operator to copy files from one to other folder in local system
定義 DAG 我在 Airflow FileNotFoundError: [Errno 2] No such file or directory 中收到如下錯誤： ...
當 airflow 具有 1.4.48 版本依賴性時，如何使它與 SQLalchemy 2.0.2 一起使用？
[英]How do I get airflow to work with SQLalchemy 2.0.2 when it has a 1.4.48 version dependency?
我在我的項目中遇到了一些問題：我在模塊中使用 SQLalchemy 2.0.2 來處理數據庫，但是我嘗試使用 Apache Airflow 2.6.1，它具有 sqlalchemy 1.4.48 依賴項。 在我運行代碼后，解釋器要么無法正確使用數據庫函數（如果安裝了 sqlalchemy 1.4. ...
從 Airflow PostgresOperator 中的 conf 傳遞參數
[英]Passing Parameter from conf in Airflow PostgresOperator
想訪問API調用中數據傳入的config 想在 PostgresOperator 的 sqlquery 中訪問 seller_id 上述任務不返回任何數據。 但是當我將參數硬編碼為 有用。 還嘗試使用 sql 文件和參數，但沒有效果。 這種方法也行不通。 它將 {{ dag_run.conf["se ...
Airflow - 協調具有不同時間表的 DAG
[英]Airflow - coordinating DAGs with different schedules
我們有一些執行各種數據處理的 DAG。 我們預計隨着這個系統的發展，會有更多來自不同內部團隊的 DAG，其中一些可能依賴於其他團隊的 DAG 和數據。 我們正在考慮使用一個“主調度程序”DAG 來協調所有這些使用 TriggerDagRunOperators 的 DAG 間依賴關系，如下所示：da ...
需要為 Airflow 與 Azure 連接的有效負載獲取正確的 URL
[英]Need to get proper URL for payloads for Airflow connected with Azure
我有四個文件main.py 、 jobs.zip 、 libs.zip和params.yaml ，這些我存儲在 Azure 存儲帳戶容器中。 現在我有了這段代碼，它正在制作一個有效負載，並將嘗試使用該有效負載運行一個 spark 作業。 該有效負載將具有這 4 個文件的位置鏈接。 我已經檢查了正確 ...
將 DAG 運行歷史/元數據遷移到 Cloud Composer 2
[英]Migrating DAG run history / metadata to Cloud Composer 2
我正在將我們的自我管理 Airflow 環境遷移到 Cloud Composer 2，並且想知道如何將 DAG 運行歷史記錄從外部環境遷移到新的 Cloud Composer 環境。 有沒有人這樣做過？ 有文檔嗎？ ...
airflow 松弛通知錯誤的 task_id 和 log_link
[英]airflow slack notification wrong task_id and log_link
我按照文檔創建了 slack function： 它確實有效，我在頻道中收到通知，但獲取任務名稱和日志鏈接是到另一個任務，而不是失敗的任務。 它獲取上游失敗任務的上下文，但不是失敗任務本身： 我嘗試了不同的運算符和掛鈎，但得到了相同的結果。 如果有人可以提供幫助，我將不勝感激。 謝謝你！ ...
mkdir：無法創建目錄“cpuset”：在 Dockerfile 中運行“服務 docker 啟動”時的只讀文件系統
[英]mkdir: cannot create directory ‘cpuset’: Read-only file system when running a "service docker start" in Dockerfile
我有一個 Dockerfile 擴展了Apache Airflow 2.5.1基本圖像。 我想要做的是能夠在我的airflow容器（即 docker-in-docker）中使用docker進行測試和評估。 我的docker-compose.yaml具有以下安裝：volumes: - /var/r ...
多個airflow調度器之間如何操作
[英]How to operate between multiple airflow schedulers
我是 Airflow 的新手。我正在考慮構建多個 airflow 調度程序（celeryexecutor）。 但是，我很好奇多個調度程序的操作多個調度程序如何為元數據庫中的序列化 dag 進行調度？ 他們有什么規定嗎？ 誰違反了哪些規則？ 是否有多個調度程序的負載平衡？ 如果您回答這些問題，將會非常 ...
獲取 PermissionError: [Errno 13] Permission denied when running DockerOperator in Airflow (running in a Docker) in Mac OS
[英]Getting PermissionError: [Errno 13] Permission denied when running DockerOperator in Airflow (running in a Docker) in Mac OS
我嘗試在 Airflow Dag 中運行 DockerOperator，但出現錯誤 PermissionError: [Errno 13] Permission denied。 docker-compose.yml如下： 我還有包含以下內容的 .env 文件： 這是 dag 任務： 我已經嘗試了 ...
在 Airflow TaskFlow 任務中獲取 dag_run 上下文
[英]Get dag_run context in Airflow TaskFlow task
我的 dag 以配置 JSON 啟動：{"foo" : "bar"} 我有一個使用此值的 Python 運算符： 我想用 TaskFlow 任務替換它……@task def my_task: # how to get foo?? 我怎樣才能獲得對上下文、dag_run 的引用，或以其他方式從 ...
將自定義配置 (.cfg) 文件放在 AWS MWAA Airflow 中的什么位置？
[英]Where do I put a custom config (.cfg) file in AWS MWAA Airflow?
我有一個配置文件 dev.cfg，它看起來像這樣： 我的代碼中需要這個來做 S3 的事情。 我無權（也不會獲得）修改 AWS 控制台中的環境或配置變量。 我將文件放入 S3 的唯一方法是 CLI ( aws s3 cp... )。 這是 S3 中的項目目錄結構： 在 plugins.zip 文件中 ...
AWS S3 使用 boto3 將文件從一個存儲桶復制到另一個存儲桶
[英]AWS S3 copy files from one bucket to other using boto3
我打算使用 AWS Python SDK (Boto3) 將文件從一個存儲桶復制到另一個存儲桶。 下面是我從 AWS 文檔中獲得的相同代碼： 我的問題是如何觸發此代碼以及我應該在哪里部署此代碼？ 我最初想到的是 Lambda function，但我正在尋找替代選項，以防 Lambda 因較大文件（1 ...
Airflow - 本地主機
[英]Airflow - localhost
我是airflow的初學者，關於本地airflow的錯誤google了很多都沒有找到答案。。我以前打開本地airflow沒有問題。 但是突然間，當我運行 docker 時，airflow-init-1 容器壞了。 每當我嘗試運行 docker 時，它都會變為“已退出”。 但是其他容器沒有壞。 這是錯 ...
Airflow 無效 arguments 和關鍵字參數
[英]Airflow Invalis arguments and keyword argument
使用 GCSToBigQueryOperator 發生此錯誤 當我嘗試更改為 BigQueryCreateExternalTableOperator 時，會發生其他錯誤 在此先感謝您的幫助... 我曾嘗試更改谷歌查詢運算符，甚至嘗試使用不同的方法將數據上傳到 bigquery，但說模式不存在，請幫助 ...
Python 為部署了 Airflow 的基本 ETL 定義 function 不返回 output
[英]Python define function not returning output for a basic ETL with Airflow deployed
我正在嘗試使用基本 ETL 的 Airflow，我將 .py 放在 dags 文件夾中並打開我的 docker 作曲家，查看 Airflow 中的日志，它說“FileNotFoundError：[Errno 2] 沒有這樣的文件或目錄：'數據.csv'”。 ETLwithDBAirflow.py ...
OSError 后 AWS Airflow 無法操作：[Errno 28] 設備上沒有剩余空間
[英]AWS Airflow inoperable after OSError: [Errno 28] No space left on device
我在 AWS Managed Apache Airflow 上運行 DAG，它應該在機器上下載數據，將其移動到 S3，然后刪除本地文件。 但是，在運行期間我收到OSError: [Errno 28] No space left on device ，導致 DAG 失敗。 該操作導致機器磁盤空間不足， ...
如何將 gsutil 與身份驗證密鑰一起使用
[英]How to use gsutil with authenication key
我有一個在本地服務器上運行的 Apache Airflow DAG。 在 DAG 中，我想調用 Google Cloud CLI 命令gsutil將數據文件復制到 GCP 存儲桶中。 為此，我必須先調用gcloud auth activate-service-account ，然后gscutil c ...
如何在 DAG 中將變量從一個任務重用到另一個任務？
[英]How can a variable be reused from one task to another task in a DAG?
所以，我在 DAG 中有幾個任務。 假設我在第一個任務中計算了一個值並將其分配給一個變量。 我希望能夠在后續任務中使用該變量。 我怎樣才能做到這一點？ 在 python 程序中，我可以將 function 中的變量狀態提升為全局，以便我可以在其他函數中使用該變量。 我怎樣才能用 Airflow 實 ...