Ooops ...在氣流中清除失敗的任務狀態時的AttributeError
[英]Ooops… AttributeError when clearing failed task state in airflow
我試圖清除一個失敗的任務，以便它將再次運行。 我通常使用樹形視圖中的Web GUI執行此操作 選擇“清除”后，我將轉到錯誤頁面： 此頁面上的回溯與嘗試使用CLI清除此任務時收到的錯誤相同： 尋找可能導致這種情況的想法，我應該做些什么來解決這個問題，以及如何在 ...
如何在Airflow中實施輪詢？
[英]How to implement polling in Airflow?
我想使用Airflow實施數據流，這些數據流定期輪詢外部系統（ftp服務器等），檢查是否符合特定條件的新文件，然后為這些文件運行一堆任務。 現在，我是Airflow的新手，並且閱讀到Sensor是在這種情況下要使用的東西，實際上我設法編寫了一個在運行“ airflow test”時可以正常工作 ...
手動 DAG 運行設置單個任務 state
[英]Manual DAG run set individual task state
我有一個沒有計划的 DAG（它根據需要手動運行）。 它有很多任務。 有時我想通過手動將任務 state 更改為 SUCCESS 來“跳過”一些初始任務。 更改手動執行的 DAG 的任務 state 失敗，似乎是因為解析 execution_date 時存在錯誤。 還有另一種方法可以為手動執行的 D ...
python 3.6“ URL超過最大重試次數”
[英]python 3.6 “Max retries exceeded with url”
我正在使用請求登錄服務器，但出現以下錯誤： [2018-01-12 11：56：43,931] {base_task_runner.py:95}信息-子任務：requests.exceptions.ConnectionError：HTTPConnectionPool（host ='XX ...
我可以通過向Airflow中的操作員添加更多cpu來提高處理速度嗎？
[英]Can I increase the processing speed by adding more cpus to operators in Airflow?
在airflow.cfg有一個名為[operators]的部分，其中default_cpus設置為1 ， default_ram和default_disk都設置為512 。 我想了解如果我增加這些參數，是否可以提高處理速度。 ...
想要創建當前任務下游的氣流任務
[英]Want to create airflow tasks that are downstream of the current task
我主要是氣流新手。 我有兩個步驟： 獲取所有符合條件的文件 解壓縮文件 文件壓縮后為半個演出，未壓縮時為2-3個演出。 我可以很容易地有超過20個檔案的時間，來處理這意味着解壓所有的人都可以對任何合理的超時運行不僅僅是長 我可以用XCOM得到步驟1的結果， ...
apache-airflow 1.9默認時區設置為非utc
[英]apache-airflow 1.9 default timezone set to non utc
我最近將氣流版本從氣流1.8升級到apache-airflow 1.9，升級成功了，我使用Celery Executor擴展了環境，一切似乎工作正常但是dag和任務開始日期，執行日期等都出現在UTC時區和計划的dags以UTC格式運行，在升級之前它們曾經以本地時區（pdt）運行。 關於如何 ...
Airflow DAG成功回調
[英]Airflow DAG success callback
是否有一種優雅的方式來定義DAG成功事件的回調？ 我真的不想設置一個任務，它將在on_sucess_callback的所有其他任務的上游。 謝謝！ ...
氣流調度程序意外關閉
[英]Airflow scheduler unexpectedly shuts down
我正在使用Ubuntu在EC2實例上運行v1.8.0 。 我正在運行的各種DAG與多個不同的SQL表連接。 我遇到了一個經常出現的問題，即由airflow scheduler -D引發的airflow scheduler -D對我關閉了。 當我檢查airflow-scheduler.err ...
在BranchPythonOperator或ShortCircuitOperator之后，Airflow DAG不會跳過任務
[英]Airflow DAG does not skip tasks after BranchPythonOperator or ShortCircuitOperator
我正在用BranchPythonOperator編寫DAG，以檢查數據是否可供下載。 如果有數據，則DAG應該下載並將其合並到我的PostgreSQL數據庫中。 如果不存在，則應跳過所有處理任務，並將分支轉到DummyOperator。 不幸的是，DAG並未跳過所有任務。 它將最多跳過6 ...
如何在氣流中處理DAG lib？
[英]How to deal with DAG lib in airflow?
我有一個關於python運算符中使用的包的依賴管理的問題 我們正在以工業化模式使用氣流來運行預定的python作業。 它運行良好，但我們面臨着處理每個DAG所需的不同python庫的問題。 您是否知道如何讓開發人員為自己的工作安裝自己的依賴項而不是管理員，並確保這些依賴項不會與其他 ...
氣流認證設置失敗，出現“AttributeError：無法設置屬性”
[英]Airflow authentication setups fails with “AttributeError: can't set attribute”
文檔中描述的Airflow版本1.8密碼身份驗證設置在此步驟失敗 有錯誤 ...
氣流與BgQuery錯誤集成
[英]Airflow integration with BgQuery Error
我已經安裝了氣流，我寫了一個DAG來將MySQL數據與BigQuery集成。 當我運行python腳本時，我收到以下錯誤： ImportError：無法導入名稱GbqConnector 我按照指示將大熊貓降級為舊版本。 當我這樣做時，我得到了一個不同的錯誤： ...
使用 Apache Airflow 運行 Bash 命令時“不允許使用原始日期時間”
[英]"naive datetime is disallowed" when running Bash command using Apache Airflow
看起來sqlAlchemy自編寫Airflow教程以來可能已經進行了整容：它不接受http://pythonhosted.org/ 上的教程中顯示的YYYY-DD-MM格式的日期氣流/教程.html ： sqlAlchemy現在需要什么格式？ （這似乎是缺少timezone - 所以我也在調 ...
Apache Airflow DAG無法導入本地模塊
[英]Apache Airflow DAG cannot import local module
我似乎不明白如何將模塊導入 apache airflow DAG 定義文件。 我想這樣做是為了能夠創建一個庫，例如，它可以使具有類似設置的任務聲明變得不那么冗長。 這是我能想到的最簡單的例子，它重現了這個問題：我修改了 airflow 教程 ( https://airflow.apache.org/ ...
Dag 的氣流 CI 設置
[英]Airflow CI Setup for Dags
如果我想將氣流 DAG 推送到 git repo，然后使用 webhook 執行 jenkins 作業，那么從那里我該怎么做才能讓氣流獲得新的 DAG？ 是否有任何實用程序/運算符可以從 git repo 填充 dagbag ？ 如果沒有，有人可以分享他們如何設置用新 DAG 填充 dagbags ...
氣流 - depends_on_past和trigger_rule是一樣的嗎？
[英]Airflow - is depends_on_past and trigger_rule the same?
在airflow.models.BaseOperator中。 您有兩個默認參數： depends_on_past=False和trigger_rule=u'all_success' 根據文件 depends_on_past（bool） - 當設置為true時，任務實例將依 ...
不需要的 DAG 在 Airflow 中運行
[英]unwanted DAG runs in Airflow
我這樣配置我的 DAG： 出於某種原因，當我取消暫停 DAG 時，它會立即執行兩次。 知道為什么嗎？ 是否有任何規則可用於告訴此 DAG 永遠不要同時運行多次？ ...
如何在 Apache Airflow 上啟用 SSL？
[英]How to enable SSL on Apache Airflow?
我將 Airflow 1.7.0 與 LocalExecutor 一起使用，文檔表明要啟用 SSL，我們需要傳遞證書和密鑰路徑並將端口更改為 443，如下所示 我已經創建了使用 OpenSSL 生成的證書和密鑰。 創建證書/密鑰時提供的詳細信息也是正確的。 但是，Airflow UI 仍然是 h ...