处理数据 - Spark结构化流媒体
[英]Handling data - Spark structured streaming
问题描述
据我所知，火花结构化流媒体是使用检查点的容错。
我想读卡夫卡。
所以，假设我使用检查点，然后由于某种原因我的代码崩溃/我停止它，然后我希望当我重新运行代码时它将恢复处理过的数据。
我的问题是，在读取配置中，如果我将偏移设置为最早，那么在重新运行代码后我将再次读取相同的数据，如果我放入最新的，我将无法读取代码崩溃之间的数据直到我重新运行代码。
有没有办法只使用spark 2.3 - 结构化流媒体（pyspark）读取来自kafka的未读消息，并从检查点恢复处理过的数据？
1 个解决方案
解决方案1
0 2019-04-02 22:24:55
这取决于您的代码崩溃的位置。 您不需要最早设置它，您可以将其设置为最新。 您可以随时从检查点恢复并重新处理数据， 这是检查点的语义
使用 Spark 结构化流处理 Databricks Delta 表中的流数据时处理重复项？
[英]Handling duplicates while processing Streaming data in Databricks Delta table with Spark Structured Streaming?
结构化流 spark.sql.streaming.schemaInference 不处理架构更改
[英]Structured Streaming spark.sql.streaming.schemaInference not handling schema changes
将数据从 Spark Structured Streaming 加载到 ArrayList
[英]Loading data from Spark Structured Streaming into ArrayList
Spark Structured-Streaming - 未聚合数据上的水印
[英]Spark Structured-Streaming - Watermark on not aggregated data
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Spark Structured Streaming - kafka 偏移处理
使用 Spark 结构化流处理 Databricks Delta 表中的流数据时处理重复项？
结构化流 spark.sql.streaming.schemaInference 不处理架构更改
将数据从 Spark Structured Streaming 加载到 ArrayList
如何将Spark结构化流数据写入Hive？
Spark结构化流中的镶木地板数据和分区问题
Spark Structured Streaming Kinesis 数据源
使用 Spark 结构化流在 postgresql 中插入数据
Spark Structured-Streaming - 未聚合数据上的水印
使用 Spark 结构化流将数据写入 JSON 数组
相关标签