使用 Spark Structured Streaming 从 Kafka 主题读取：可以由 Spark 解析发布到 Kafka 主题的多行 JSON 吗？
[英]Reading from Kafka topic using Spark Structured Streaming: Can multi-line JSON published to Kafka topic be parsed by Spark?
问题描述
是否可以使用结构化流通过 spark 解析/读取多行 JSON 发布到 Kafka 主题？
1 个解决方案
解决方案1
1 2020-05-20 04:52:33
如果您使用大于 2.2 的 spark 版本，以下将起作用。
spark.read
.option("multiLine", true).option("mode", "PERMISSIVE")
.json("/path/to/user.json")
如何使用 Java Spark 结构化流从 Kafka 主题正确消费
[英]How to consume correctly from Kafka topic with Java Spark structured streaming
从 Kafka 主题读取流时，Spark Structured Streaming 是否存在超时问题？
[英]Does Spark Structured Streaming have some timeout issue when reading streams from a Kafka topic?
没有输出到Kafka主题：Spark结构化流和Kafka集成
[英]No output to Kafka topic: Spark Structured Streaming and Kafka Integration
如何使用 Spark Structured Streaming 将数据从 Kafka 主题流式传输到 Delta 表
[英]How to stream data from Kafka topic to Delta table using Spark Structured Streaming
如何通过spark结构化流以编程方式在Kafka中创建Topic
[英]How to programmatically create a Topic in Kafka through spark structured streaming
将聚合结果发送到 Kafka 主题时 Spark 结构化流错误
[英]Spark Structured Streaming Error while sending aggregated result to Kafka Topic
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
将Spark结构化流输出写入Kafka主题
使用scala从kafka主题流式传输Spark
如何使用 Java Spark 结构化流从 Kafka 主题正确消费
从 Kafka 主题读取流时，Spark Structured Streaming 是否存在超时问题？
没有输出到Kafka主题：Spark结构化流和Kafka集成
如何使用 Spark Structured Streaming 将数据从 Kafka 主题流式传输到 Delta 表
Spark Streaming - 写入 Kafka 主题
Kafka主题分区为Spark流媒体
如何通过spark结构化流以编程方式在Kafka中创建Topic
将聚合结果发送到 Kafka 主题时 Spark 结构化流错误
相关标签