使用ZEROMQ和NORM将数据包多播到大量WiFI设备

Question

我正在尝试使用ZeroMQ和NORM协议通过无线网络发送文件。 我目前正在使用PUB / SUB模式，因为据我所知，这是NORM与ZeroMQ一起支持的唯一模式。

我已经设置好了，以便小消息能够顺利传递，但是偶尔接收者不会接收消息。 从那时起，消息将被丢弃。 有时可以通过重新启动发布服务器或订阅服务器来补救，但并非每次都可以。 我尝试过调整发送的比特数和每次发送呼叫之间的时间都无济于事。 在连接变得不稳定之前，我似乎可以接收大约20-60条多播消息。 如果我使用相同的代码，但使用TCP进行设置，则连接会更加可靠，在发生错误之前，连接的消息数量约为数千条。

我尝试实现包装器类以在一段时间不活动后重新启动订户-这是行不通的。 在while循环内也不设置socket.recv（zmq.NOBLOCK）。

我知道发布-订阅同步图形这里描述， http://zguide.zeromq.org/page:all#Node-Coordination ，但规范，如ZeroMQ的norm_engine.cpp实现（ https：//开头的github .com / zeromq / libzmq / blob / master / src / norm_engine.cpp ）看起来好像没有设置为允许这种模式。

有没有办法重新发送丢失的数据包，或确保健康的多播连接？

代码是Python。

出版商：

import zmq
import time
import os
context = zmq.Context()
socket = context.socket(zmq.PUB)
socket.connect("norm://224.0.0.1:3000")
i = 1

imgfile_path = "/home/adam/programs/zmq/tux.svg.png"
imgsize = os.stat(imgfile_path).st_size
print "attempting to send", imgsize, "bytes"

sleep_time = 1
topic = ""
packet_size = 500
left = packet_size
f = open(imgfile_path, 'rb')
fi = f.read(packet_size)
while (imgsize - left) > packet_size:
    print "sent packet number:", i
    print "size: ", len(topic + str(i)[-1] + fi)
    i += 1
    socket.send(topic + str(i)[-1] + fi)

    fi = f.read(packet_size)
    left += packet_size
    time.sleep(sleep_time)
print imgsize, left
time.sleep(sleep_time)
fi = f.read(imgsize - left)
print fi
socket.send(topic + " " + fi)
f.close()

订户：

import zmq
context = zmq.Context()
socket = context.socket(zmq.SUB)
socket.bind("norm://224.0.0.2:3000")
socket.setsockopt(zmq.SUBSCRIBE, "")

imgdir = "/home/adam/programs/zmq/img/"
filename = "tux.svg.png"
destfile = imgdir + filename
packet_size = 501
print "attempting to receive"
f = open(destfile, 'wb')
while True:
    msg = None
    while msg is None:
        try:
            msg = socket.recv(zmq.NOBLOCK)
        except:
            pass
    if msg: 
        print "msg = ", msg[0]
        print "we got something", len(msg)
        f.write(msg[1:])
        if len(msg) < packet_size:
            break
f.close()
print "exiting..."

此外，一旦我确定可以发送文件，就想调整前向纠错和NACK率，这就是为什么NORM对我如此有用的原因。 有没有一种方法可以不重写norm_engine.cpp？

谢谢！

Answer 1

您假设的某些内容已在此处的文档页面上得到确认。 也就是说，暂时来说，它只是PUB / SUB，尽管您确实可以通过将NORM用于PUB / SUB和TCP用于REQ / REP来进行链接的同步。

否则，我相信您会在NORM实施阶段还处于初期阶段，因为它（也来自我的链接）正在谈论尚未完成的所有事情。 那是一年前的事，但是从那以后我再也没有谈论过。

根据基础架构的具体情况，多播甚至可能不是最佳选择，正如此处所讨论的，没有一种多播协议确实是为当今的高性能网络速度而设计的。 这些传输协议的自然结果可能是使您的实施成为问题恢复能力差的受害者。

编辑：

根据您帖子中的github链接，自14年3月19日（即我上面链接的页面发布的同一天）以来，该代码从未更新过，因此有关ZMQ中NORM传输的任何内容都应完全更新为-日期。

在页面底部，重点介绍ZMQ NORM实现可以做什么和不能做什么：

1. 当前的“ norm_engine”采用一种相当特定的形式的NORM传输选项。 可能希望通过ZeroMQ API公开其他NORM功能和传输方式。 一些示例包括：
   • NORM能够为应用程序交替提供类似UDP的“尽力而为”和“比尽力而为”（使用数据包擦除编码）交付服务。 这将包括对NORM FEC编码参数的控制。

因此，看起来它（在当前状态下）没有给您任何对前向纠错的控制，只是在默认的反应式（高性能）状态下使用它。 默认情况下，这应该为您的连接提供可靠性，但是如果尚未完全掌握ZMQ的实现，它可能会比您想要的更脆弱。 由于缺少内容和补丁，因此我认为它还没有为您准备好。