Raspberry Pi 到 Kafka 主題

Question

我正在嘗試設置從我的 Raspberry Pi 3 到 Kafka 主題的 Kafka 流。 Raspberry Pi 和 Kafka Broker 不在同一個網絡中。

Raspberry Pi 上有一些傳感器，它每秒將日期以 JSON 格式保存在 .log 文件中。

將 .log 文件放入我的 Kafka 主題的最佳方法是什么？

Answer 1

幾個選項：

1. 無論將傳感器數據寫入.log文件，修改它以使用 Kafka Producer API 將數據直接發送到 Kafka 主題。

2. 如上所述，但使用REST 代理，以便可以使用 REST 發送傳感器數據。

3. 運行 Kafka Connect 以使用https://github.com/jcustenborder/kafka-connect-spooldir攝取 JSON 文件

(1) 和 (2) 的好處是更緊密的集成。 寫入文件然后從文件中讀取會帶來復雜性。