氣流芹菜作業處於運行狀態

Question

我正在嘗試使用CeleryExecutor設置Airflow。 我使用postgres作為數據庫，使用rabbitmq作為消息代理。 所有計划好的氣流作業都將進入運行狀態，但它們永遠不會運行。 我在rabbitmq日志或氣流日志中沒有看到任何錯誤。 任何幫助表示贊賞

這是我的經紀人和后端網址

broker_url = amqp://guest:guest@127.0.0.1/airflow

celery_result_backend = db+postgresql://airflow:airflow@127.0.0.1:5432/airflow

sql_alchemy_conn = postgresql+psycopg2://airflow:airflow@127.0.0.1:5432/airflow

Answer 1

您檢查芹菜工人是否正確加入了rabbitmq嗎？ 您可以考慮使用flower，這是一個用於監視和管理Celery群集的基於Web的工具。 您可以使用airflow flower簡單地運行它

根據我過去的經驗，大多數情況下，計划任務但不運行時，Celery Workers會出現問題。 在我們的例子中，我們使用Postgres + Redis，這是工作人員和Redis之間的連接問題。