如何将Spark结构化的流数据写入REST API？
[英]How to write spark structured streaming data to REST API?
问题描述
我想将我的Spark结构化流处理数据推送到REST API。 有人可以分享相同的例子吗？ 我发现很少，但全部与Spark流媒体有关，而不与结构化流媒体有关。
1 个解决方案
解决方案1
0 2019-01-28 18:41:09
我还没有听说过用于Spark结构化流的REST API接收器，但是您可以自己编写一个。 从org.apache.spark.sql.execution.streaming.Source开始。
但是，最简单的方法是使用DataStreamWriter.foreach或foreachBatch （从2.4开始）。
如何将流 DataFrame 写入 Spark 结构化流中的多个接收器
[英]How to write streaming DataFrame into multiple sinks in Spark Structured Streaming
混合 Spark 结构化流 API 和 DStream 写入 Kafka
[英]Mixing Spark Structured Streaming API and DStream to write to Kafka
如何使用PySpark将结构化流数据写入Cassandra？
[英]How to Write Structured Streaming Data into Cassandra with PySpark?
无法使用Spark Structured Streaming在Parquet文件中写入数据
[英]Not able to write Data in Parquet File using Spark Structured Streaming
如何将静态数据帧与 Spark Structured Streaming 中的流数据帧进行比较？
[英]How to compare a static data frame with a streaming one in Spark Structured Streaming?
如何为Spark结构化流编写JDBC Sink [SparkException：Task not serializable]？
[英]How to write JDBC Sink for Spark Structured Streaming [SparkException: Task not serializable]?
如何删除由 Spark Structured Streaming 创建的旧数据？
[英]How to delete old data that was created by Spark Structured Streaming?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
如何将Spark结构化流数据写入Hive？
如何为Spark结构化流编写ElasticsearchSink
如何将流 DataFrame 写入 Spark 结构化流中的多个接收器
混合 Spark 结构化流 API 和 DStream 写入 Kafka
如何使用PySpark将结构化流数据写入Cassandra？
无法使用Spark Structured Streaming在Parquet文件中写入数据
如何将静态数据帧与 Spark Structured Streaming 中的流数据帧进行比较？
如何为Spark结构化流编写JDBC Sink [SparkException：Task not serializable]？
处理数据 - Spark结构化流媒体
如何删除由 Spark Structured Streaming 创建的旧数据？
相关标签