[英]High performance Airflow Celery Workers do not work
我有
2 Airflow and Celary nodes (node 1, node 2)
1 Postgresql node (node 3)
2 RebbitMQ nodes (node 4, node 5)
我想实现 Сelary 工人的故障转移。
Node 1 - Airflow(webserver, scheduler), Celary(workers_1, flower_1)
Node 2 - Celary(workers_2, flower_2)
我运行将当前时间戳写入数据库的任务 5 分钟。 之后,我杀死了worker_1(我使用kill ...(pid worker)或systemctl stop/restart worker.service)。 我希望收到错误的 Celary 将开始在 worker_2 上重新执行任务,但不会重新执行该任务。
我尝试将变量添加到airflow.cfg和./airflow-certified 。
task_acks_late=True
CELERY_ACKS_LATE=True
CELERY_TASK_REJECT_ON_WORKER_LOST=True
task_reject_on_worker_lost=True
task_track_started=True
但这并没有帮助。 我怎样才能做到,如果我的工人死了,任务又开始在另一个工人身上?
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.