物聯網 - 多個 Kafka 生產者將消息發布到同一主題

Question

我正在嘗試開發一個基於 IoT 的應用程序，其中多個設備將生成數據並將其發送到 Kafka 代理。 設備的可能數量約為 60-70,000。

可能有 5-10 種不同的設備類型，但是，每種類型的設備數量將以千為單位，例如每個 20-40 千。

我想了解它應該支持這么多設備（平均 20-40,000 個設備）的 Kafka 主題使用情況。

另外，請讓我知道此類應用程序是否需要基於 MQTT 的實現。

提前致謝，

阿維納什·德什穆克

Answer 1

分區的數量主要影響消費者端，因為它是讀取消息的並行單位。 在生產者方面，考慮到因為每個領導分區由代理托管，生產者必須連接到不同的代理才能寫入不同的分區，因此需要多個 TCP 連接。

關於 MQTT，這意味着您必須運行 MQTT 代理，然后使用相關的 MQTT 連接器運行 Kafka Connect。 這取決於您擁有的設備類型。 MQTT 協議最適合作為輕量級協議用於嵌入式/物聯網設備，因此對於低功耗設備，它比在設備堆棧上使用 Kafka 協議更有意義。 但這也可能取決於您是否在邊緣使用 IoT 網關從現場的多個設備收集消息，然后發送到 Kafka。

Answer 2

我想了解它應該支持這么多設備（平均 20-40,000 個設備）的 Kafka 主題使用情況。

老實說，我不明白這個問題。 您是否要求主題大小？ 分區數？ 等等等等。你打算讓你的設備直接訪問 Kafka 集群嗎？

另外，請讓我知道此類應用程序是否需要基於 MQTT 的實現。

Apache Kafka 本身不支持 MQTT。 你在談論任何類型的商業解決方案嗎？