Airflow 1.9-任務卡在隊列中

Question

從PyPy（1.9.0）安裝最新的Apache-Airflow

設置包括：

1. 阿帕奇氣流
2. Apache-Airflow [芹菜]
3. 兔子MQ 3.7.5
4. 芹菜4.1.1
5. Postgres

我在3台主機上進行了安裝。

主機＃1

• 氣流網絡服務器
• 氣流調度器
• RabbitMQ服務器
• Postgres服務器

主機＃2

• 氣流工

主機＃3

• 氣流工

我有一個簡單的DAG，它執行每1分鍾運行一次的BashOperator任務。 我可以看到調度程序“排隊”工作，但是，它永遠不會被添加到Celery / RabbitMQ隊列中並被工作人員接走。 我有一個自定義RabbitMQ用戶，身份驗證似乎很好。 但是，Flower不會顯示任何填充數據的隊列。 它的確看到兩個工作機在各自的隊列上偵聽。

我檢查過的事情：

• 氣流池配置
• 氣流環境變量
• 升級/降級芹菜和RabbitMQ
• Postgres權限
• RabbitMQ權限
• 調試級別的氣流日志

我閱讀了有關作業未運行的文檔部分。 我的“ start_date”變量是當前日期之前的靜態日期。

操作系統：Centos 7

Answer 1

我能夠弄清楚，但是我不確定為什么會這樣。

解決方法是將“ broker_url”變量更改為使用“ pyamqp”而不是“ amqp”。