Apache Airflow 無法執行任何 DAG - 為什么？

Question

我正在嘗試在本地主機上執行一些 airflow DAG，但無法正常工作。 我總是得到同樣的錯誤：

[2022-11-15, 20:18:35 CET] {taskinstance.py:1383} INFO - Executing <Task(BashOperator): get_datetime> on 2022-11-15 19:18:29.749895+00:00
[2022-11-15, 20:18:35 CET] {standard_task_runner.py:55} INFO - Started process 8406 to run task
[2022-11-15, 20:18:35 CET] {standard_task_runner.py:82} INFO - Running: ['airflow', 'tasks', 'run', 'first_dag', 'get_datetime', 'manual__2022-11-15T19:18:29.749895+00:00', '--job-id', '79', '--raw', '--subdir', 'DAGS_FOLDER/first_dag.py', '--cfg-path', '/var/folders/8t/ll6ysglj0nj5dq53clwnnsg40000gn/T/tmpb3a0nyuj']
[2022-11-15, 20:18:35 CET] {standard_task_runner.py:83} INFO - Job 79: Subtask get_datetime
[2022-11-15, 20:18:35 CET] {standard_task_runner.py:100} ERROR - Failed to execute job 79 for task get_datetime ([Errno 2] No such file or directory: **'/var/folders/8t/ll6ysglj0nj5dq53clwnnsg40000gn/T/tmpb3a0nyuj'; 8406)**

我正在使用 M1 在 Mac 上工作。 重要的是“氣流任務測試”有效。 請指教一些..

Answer 1

看起來你有一個分布式 Airflow 執行器（Celery 或 Kube.netes），你的 dag 文件夾只掛載到調度程序進程，而不是工作人員。 Airflow 調度程序和工作人員為任務的每個操作運行 dag 腳本，因此在您的情況下，工作人員找不到 dag 腳本並且失敗。

如果您使用的是 docker compose，您可以檢查 dag 文件夾是否已掛載到所有容器，如果沒有則需要添加它。