如何获取从每个连接发送的最新消息

Question

我有一个 ZMQ_PULL/ZMQ_PUSH 套接字连接。

我有多个 ZMQ_PUSH 连接推送到单个 ZMQ_PULL 连接。

ZMQ_PUSH connection 1----->
ZMQ_PUSH connection 2----->    ZMQ_PULL
ZMQ_PUSH connection N----->

我不需要每条消息，我只需要发送的最新消息。 我在后端做一些推断并将结果流式传输到 ZMQ_PULL 套接字。

我已将 ZMQ_PULL 套接字设置为 Conflate=true “如果设置，套接字应仅在其入站/出站队列中保留一条消息，该消息是收到的最后一条消息/要发送的最后一条消息。忽略 ZMQ_RCVHWM 和 ZMQ_SNDHWM 选项。”

但是经过测试我意识到我实际上需要每个连接的最后一条消息，而不仅仅是最后一条消息。 所以，如果有 3 个连接，它会从每个连接中循环获取，所以我不断地从每个连接中获取最新信息。

是否有类似 Conflate 的选项，但不是针对所有消息，而是针对每个连接？

文档： http://api.zeromq.org/4-0:zmq-setsockopt

Answer 1

是否有类似 Conflate 的选项，但不是针对所有消息，而是针对每个连接？

不。

您引用的文档解释说 0MQ 目前不为此类单套接字用例提供直接支持。 您当然可以对其进行编码并提交上游 PR，以便 0MQ 的未来版本提供此类功能。

鉴于您需要应用程序级别的支持才能使它与 0MQ 4.3 一起使用，最简单的方法是使用 ZMQ_CONFLATE 设置维护N ZMQ_PULL sockets，正如您已经知道的那样。

另一种方法是分配一个专用线程或进程来持续耗尽现有的多路复用套接字，并更新一个共享的 memory 数据结构，感兴趣的客户端可以查阅。 这个想法是燃烧一个核心来保持队列大部分是空的，同时不做任何处理，只专注于通信。 然后其他核心可以检查“最新消息”，然后每个核心开始进行一些昂贵的处理，而另一个核心继续保持队列排空。 这实质上是提供上面提出的 0MQ 服务，但在堆栈中的不同位置，在您的应用程序中向上一个级别。

要以分布式方式执行此操作，“队列排空服务”需要了解空闲工作人员。 也就是说，工作人员可以发布一条简短的“我刚刚完成了一项昂贵的任务”消息，这将触发 drainer 发布一个新的工作项目，而根本不会使用共享的 memory。 这让 drainer 担心忽略在没有人可以立即开始处理它们时到达的重复消息，这些消息已被更新的消息取代。