為 Kafka 主題創建 Hive 表生產者

Question

我的用例是使用 Apache Hive 表記錄創建一個 Producer 並將其發送到 Kafka Topic。

我探索了 Confluent Kafka Connect，但到目前為止，他們只提供了使用 HDFS 連接器從 Kafka Topic 到 Hive 表的演示。

有沒有人使用 Kafka 連接器從源 Hive 表到 Kafka 主題做過一個？
或者還有其他選擇，比如我們可以使用編寫自定義 Java API 包嗎？
我對其他選擇持開放態度。

Answer 1

您是正確的，Kafka HDFS Connect 只是一個接收器， 而不是 Kafka 的源。 編輯：似乎現在有一個 HDFS3Source（在試用許可下）

就個人而言，我會完全跳過 Hive，並從 HDFS 讀取。

您可以使用純 Java 來執行此操作，也可以使用 Spark/Flink 與那些 Kafka 庫進行集成，或者您可以嘗試使用更多可視化工具（如 Apache NiFi 或 Streamsets）來提取 HDFS 數據並將其發送到 Kafka。

通常，從我所見，HDFS 不是 Kafka 數據的來源。 如果你需要把東西拉出來，Spark 似乎是最常用的工具。 寫入 Kafka 主題是一個實現細節。