MQTT主題和kafka主題映射

Question

由於我在當前組織的遠程信息處理中有一個用例，因此我開始學習MQTT。 我想將MQTT代理（mosquitto）消息集成到我的kafka中。

由於每輛車都在單個組織中的MQTT經紀人中按自己的主題發送數據，因此我想將所有這些數據推送到kafka中。 現在我知道不建議在kafka中創建太多主題（超過一百萬個）。 另外，我不想將所有車輛數據保存在一個kafka主題中，因為我稍后希望將所有這些數據放入S3中​​，並通過車輛ID進行區分。

如何在不做很多主題的情況下實現這一目標。 一種方法是，kafka的使用者將事件隔離並放入s3中，但我相信S3中會有很多小文件。

Answer 1

通常，如果您具有相同的邏輯實體，則將使用相同的主題。

您可以使用用於Kafka Connect的MQTT插件將數據從MQTT流式傳輸到Kafka，以及使用Kafka Connect的Single Message Transform RegexRouter修改寫入消息的主題名稱，以及使用其他SMT修改消息密鑰。 這樣，您就可以將所有消息歸入一個主題，並根據車輛ID進行划分。 那可能是存儲它的最好方法。

從那里，您可以根據需要使用數據。 將其流式傳輸到S3時，您可以使用Kafka Connect S3接收器，並且如cricket_007所述，如果只是擔心的數據量，則可以按時間划分數據。 如果要將消息路由到不同的存儲桶或同一存儲桶的區域，則可以使用流處理（例如Kafka Streams / ksqlDB）對主題進行預處理以填充其他主題。

請參見此處以獲取MQTT連接器的示例。