如何在一条消息中为 kafka 生成音频（.wav）

Question

为了使用大数据技术应用实时语音分析，我尝试在开始时使用 KAFKA。 因此，首先我使用 WAVIO API 将.wav 文件转换为字节，然后在这些消息将由将转换他们再次到.wav 文件。

问题是如何在一条消息（每条消息代表.wav 文件）中向 kafka 发送和接收这些 [data, rate, sampwidth]？

对于生产者：

    producer = KafkaProducer(bootstrap_servers='localhost:9092')
    x = wav2bytes("bush_read") # return tuple containing(data, rate, sampwidth)
    #here I'm sending 3 messages
    producer.send("TestTopic", key=b'data', value=b'%s' % (x[0])) # data -> nparray
    producer.send("TestTopic", key=b'rate', value=b'%d' % (x[1]))   # rate -> int
    producer.send("TestTopic", key=b'sampwidth', value=b'%d' % (x[2]))  #sampwidth -> int
    send("TestTopic","bush_read")

对于消费者：

    for message in consumer:
        msg = message     # I want somthing like this
        file = bytes2wav("name", msg.data, msg.rate, msg.sampwidth )

Answer 1

如果需要，您可以将其作为 json （或任何其他序列化）发送，创建一个 json 之类的

{'data': data, 'rate': rate, 'sampwidth': sampwidth}

你可以在消费者中反序列化它

Answer 2

只是另一个想法！

如果.wav 文件很大，它可能会给代理带来负载，从而减慢集群速度。 通过在完整的大文件旁边发布参考消息可以避免这种情况。

1. 将大文件存储在一些外部存储中
2. 将文件的元引用发布到指向存储文件位置的主题
3. 消费者可以使用参考并将文件定位到外部存储中。