Apache Airflow 调度程序不自行运行工作程序

Question

我目前正在我的系统（Ubuntu 18）上尝试使用 Apache Airflow，并使用 postgreSQL 和 RabbitMQ 对其进行设置以使用 CeleryExecutor。

我在单独的控制台上运行airflow webserver和airflow scheduler ，但调度程序仅将任务放入队列中，但实际上没有工作人员在运行它们。

我尝试打开一个不同的终端并自行运行airflow worker ，这似乎成功了。

现在调度程序将任务放在队列中，而我手动运行的工作人员实际上会执行它们。

正如我所读到的，情况不应该是这样。 调度程序应该自己运行工人吗？ 我能做些什么来完成这项工作？

我已经检查了控制台的日志，我没有看到任何错误。

Answer 1

这是预期的。 如果您查看CeleryExecutor worker的文档，它是专门在您使用CeleryExecutor时调出Celery worker 的，而其他执行程序不需要单独的进程来运行任务。

• LocalExecutor ：使用多处理在调度程序中运行任务。
• SequentialExecutor ：一次只运行一项任务，以便在调度程序中也会发生。
• CeleryExecutor ：通过拥有 N 个 worker 进行扩展，因此将其作为单独的命令可以让您在任意数量的机器上运行一个 worker。
• KubernetesExecutor ：我想象与您的 Kubernetes 集群对话以告诉它运行任务。