如何合并来自不同计算机的 celery 日志。 CELERY

Question

如何在 Celery 中的单个文件中获取来自不同工作人员的日志。我有 3 个工作人员运行 python 任务和一个运行代理的主节点。 我想整合这些工作机器的日志并将其存储在主机器中。 我怎样才能做到这一点？

Answer 1

我们将 AWS EC2 实例上的所有 Celery 工作人员配置为将 Celery 日志上传到 CloudWatch。 这是实现您想要的目标的一种方法。 即使你不在 AWS 上，实施这种系统也不难——你所需要的只是在每台工作机器上运行的代理，它定期将 Celery 日志上传到中心位置。 它甚至可以是运行脚本的 cron-job 来为您完成这项工作。