![](/img/trans.png)
[英]Separate StreamingContext from Receiver in Spark Streaming
[英]Receive streaming data from dataset with custom receiver [Spark Streaming]
我是Spark
的新手,它是库!
我有一个案例,我需要将数据集发送到自定义接收器的store()
,然后从这个自定义接收器流式传输数据。
我在自定义接收器 class 中以这种方式获取数据集:
Dataset<Row> jdbcDF = spark.read()
.format("jdbc")
.option("url", "jdbc:mysql:dbserver")
.option("dbtable", "schema.tablename")
.option("user", "username")
.option("password", "password")
.load();
现在我想将此数据集用作流数据,因此我必须将此数据集存储在接收器 class 的store()
中:
store(jdbcDF);
是否可以通过这种方式进行流式传输?
ps不使用Structured Streaming Programming
先感谢您!
spark 不支持 jdbc 数据库表的流式传输。 但它确实支持作为接收器。 而是使用 kafka 连接将数据库表中的数据作为流服务发送,并通过 spark 结构化 straming 读取。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.