使用自定義接收器從數據集中接收流數據 [Spark Streaming]

Question

我是Spark的新手，它是庫！

我有一個案例，我需要將數據集發送到自定義接收器的store() ，然后從這個自定義接收器流式傳輸數據。

我在自定義接收器 class 中以這種方式獲取數據集：

Dataset<Row> jdbcDF = spark.read()
.format("jdbc")
.option("url", "jdbc:mysql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load();

現在我想將此數據集用作流數據，因此我必須將此數據集存儲在接收器 class 的store()中：

store(jdbcDF);

是否可以通過這種方式進行流式傳輸？

ps不使用Structured Streaming Programming

先感謝您！

Answer 1

spark 不支持 jdbc 數據庫表的流式傳輸。 但它確實支持作為接收器。 而是使用 kafka 連接將數據庫表中的數據作為流服務發送，並通過 spark 結構化 straming 讀取。