繁体   English   中英

高性能 Airflow Celery 工人不工作

[英]High performance Airflow Celery Workers do not work

我有

2 Airflow and Celary nodes (node 1, node 2)
1 Postgresql node (node 3)
2 RebbitMQ nodes (node 4, node 5)

我想实现 Сelary 工人的故障转移。

Node 1 - Airflow(webserver, scheduler), Celary(workers_1, flower_1)
Node 2 - Celary(workers_2, flower_2)

我运行将当前时间戳写入数据库的任务 5 分钟。 之后,我杀死了worker_1(我使用kill ...(pid worker)或systemctl stop/restart worker.service)。 我希望收到错误的 Celary 将开始在 worker_2 上重新执行任务,但不会重新执行该任务。

我尝试将变量添加到airflow.cfg./airflow-certified

task_acks_late=True
CELERY_ACKS_LATE=True 
CELERY_TASK_REJECT_ON_WORKER_LOST=True 
task_reject_on_worker_lost=True
task_track_started=True

但这并没有帮助。 我怎样才能做到,如果我的工人死了,任务又开始在另一个工人身上?

暂无
暂无

声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

 
粤ICP备18138465号  © 2020-2024 STACKOOM.COM