如何使用 Kafka 流式传输视频文件？

Question

我正在尝试将多个.mp4文件作为 kafka 流消息发送。
我尝试采用与文本消息相同的方法，但没有成功。

这是否意味着我在生产和消费时需要一个特殊的编码器/解码器/串行器/解串器。 我如何为此配置我的生产者和消费者？

Answer 1

创建类似于文本文件创建的文件

据此，我假设您正在按照设置生产者和消费者的示例，通过 kafka 发送文本/json 消息。

在您的情况下，您需要将您的视频文件/片/块序列化为bytes ，将原始字节发送到 kafka，读取消费者中的那些并将您的视频文件/片/块反序列化。

要通过卡夫卡发送原始字节，你需要使用ByteArraySerializer生产者和ByteArrayDeserializer消费者。

参见： https : //kafka.apache.org/20/javadoc/index.html ?org / apache/ kafka / common/ serialization / ByteArrayDeserializer.html https://kafka.apache.org/20/javadoc/org/apache /kafka/common/serialization/ByteArraySerializer.html

因此，在您的配置中，您需要指定属性（假设您不使用键，只使用值）：生产者：

"key.serializer":"org.apache.kafka.common.serialization.StringSerializer"
"value.serializer":"org.apache.kafka.common.serialization.ByteArraySerializer"

消费者：

"key.deserializer":"org.apache.kafka.common.serialization.StringDeserializer"
"value.deserializer":"org.apache.kafka.common.serialization.ByteArrayDeserializer"

如果您只想发送 mp4 文件，请将其作为字节读取（在 Java 中）：File to byte[] in Java

byte[] array = Files.readAllBytes(new File("/path/to/file").toPath());

另一方面，在消费者中，您接收该字节数组并将它们保存到文件中。

Answer 2

我有一个使用 JS 做这件事的例子。

您可以访问： https : //gitlab.com/dimimpov/streaming-video-apache-kafka

基本上，您将文件读取到字节数组，然后通过 kafka，然后将字节数组流式传输到可以播放块的视频播放器。