物联网 - 多个 Kafka 生产者将消息发布到同一主题

Question

我正在尝试开发一个基于 IoT 的应用程序，其中多个设备将生成数据并将其发送到 Kafka 代理。 设备的可能数量约为 60-70,000。

可能有 5-10 种不同的设备类型，但是，每种类型的设备数量将以千为单位，例如每个 20-40 千。

我想了解它应该支持这么多设备（平均 20-40,000 个设备）的 Kafka 主题使用情况。

另外，请让我知道此类应用程序是否需要基于 MQTT 的实现。

提前致谢，

阿维纳什·德什穆克

Answer 1

分区的数量主要影响消费者端，因为它是读取消息的并行单位。 在生产者方面，考虑到因为每个领导分区由代理托管，生产者必须连接到不同的代理才能写入不同的分区，因此需要多个 TCP 连接。

关于 MQTT，这意味着您必须运行 MQTT 代理，然后使用相关的 MQTT 连接器运行 Kafka Connect。 这取决于您拥有的设备类型。 MQTT 协议最适合作为轻量级协议用于嵌入式/物联网设备，因此对于低功耗设备，它比在设备堆栈上使用 Kafka 协议更有意义。 但这也可能取决于您是否在边缘使用 IoT 网关从现场的多个设备收集消息，然后发送到 Kafka。

Answer 2

我想了解它应该支持这么多设备（平均 20-40,000 个设备）的 Kafka 主题使用情况。

老实说，我不明白这个问题。 您是否要求主题大小？ 分区数？ 等等等等。你打算让你的设备直接访问 Kafka 集群吗？

另外，请让我知道此类应用程序是否需要基于 MQTT 的实现。

Apache Kafka 本身不支持 MQTT。 你在谈论任何类型的商业解决方案吗？