Airflow 調度器啟動任務失敗

Question

我的問題：

Airflow 調度程序未分配任務。

背景：

我的 Airflow 使用 sqlitedb 在我的本地機器上成功運行。 示例 dag 以及我的自定義 DAG 運行沒有任何問題。 當我嘗試從 sqlite 數據庫遷移到 Postgres（使用本指南）時，調度程序似乎不再分配任務。 DAG 卡在“正在運行”的 state 上，但任何 DAG 中的任務都沒有被分配 state。

我已采取的故障排除步驟

• web 服務器和調度程序正在運行
• DAG 設置為“開”。
• 運行 airflow initdb 后，公共模式將填充所有 airflow 表。
• 我的連接字符串中的用戶擁有數據庫以及公共模式中的每個表。

調度程序日志

調度程序日志不斷發布此警告，但我無法使用它來找到除此其他帖子之外的任何有用信息而沒有回復。

[2020-04-08 09:39:17,907] {dag_processing.py:556} INFO - Launched DagFileProcessorManager with pid: 44144
[2020-04-08 09:39:17,916] {settings.py:54} INFO - Configured default timezone <Timezone [UTC]>
[2020-04-08 09:39:17,927] {settings.py:253} INFO - settings.configure_orm(): Using pool settings. pool_size=5, max_overflow=10, pool_recycle=1800, pid=44144
[2020-04-08 09:39:19,914] {dag_processing.py:663} WARNING - DagFileProcessorManager (PID=44144) exited with exit code -11 - re-launching

環境

• PostgreSQL 12.1版
• Airflow v1.10.9
• 這一切都在 conda 虛擬環境中的 MacBook Pro (Catalina) 上運行。

Answer 1

Postgres 是使用postgresapp安裝的。 將 postgresapp 更新到 2.3.3e 版本。 PostgresSQL 仍然是 12.1 版，但通過更新 postgresapp，問題得到了解決。