Redis中持久队列的工作人员管理

Question

使用LPUSH和BRPOPLPUSH （ http://redis.io/commands/rpoplpush ）在Redis中实现持久队列是一种众所周知的模式。 但是，为了扩大规模，设计需要满足来自主任务队列中BRPOPLPUSH多个工作人员/消费者的需求。

因此，规范似乎是每个工人都有一个单独的processing_queue来记录特定工人正在processing_queue的任务，以便该工人跟踪在处理过程中退出时剩下要做的事情。

关于此processing_queue我有两个问题：

1. 是否有理由在工人的processing_queue中随时存在一个项目/任务最多 ，这是否正确？ 我假设一个工作程序首先在BRPOPLPUSH主任务队列之前检查其自己的processing_queue任何剩余任务。 如果是这样，我们可以在工作人员完成处理后使用RPOP ， LPOP和LREM任何一个来删除任务（或者可以简单地删除列表）。 我们甚至可以使用集合而不是列表。 为什么有这么多人选择使用LREM却没有其他原因吗？

2. 我已经看到很多人建议使用相应工作程序的进程ID来标识各个processing_queue 。 但是，当老工人退出而新的工人带着（最可能的）新进程ID产生时，会发生什么。 新工作人员如何查找其前任的processing_queue以完成可能的剩余任务？ 我计划使用Supervisor来管理我的工作进程，如果有帮助的话。

Answer 1

1. 那要看。 如果您只想让工人从主队列中取出一份工作，请对其进行处理，冲洗并重复上述步骤。 但是，这不是一个硬性要求，而是一种设计选择。 例如，当您要序列化从主项目派生的作业时，可以让工作人员将其他项目推送到processing_queue 。

2. 我对Supervisor并不熟悉，但是您可以保留一个单独的数据结构-这里最好使用Sorted Set-以您的工作人员的标识符作为元素，并以时间戳作为他们的分数。 让您的工作人员定期更新其时间戳记，并在您启动新工作人员时检查是否为空闲时间过长的工作人员设置了时间戳。 找到此类文件后，请尝试确定它实际上已经死了，然后让新工作程序接管相关的processing_queue （例如，使用RENAME ）。