在 spark 2.4.X 中获取 kafka 头文件
[英]Fetch kafka headers in spark 2.4.X
问题描述
如何在 Spark Structured Streaming 中获取 Kafka 标头字段（在 Kafka 0.11+ 中引入）？
我看到在 Spark 3.0 中添加了标头实现，但在 2.4.5 中没有。 我看到默认情况下 spark-sql-kafka-0-10 正在使用 kafka-client 2.0。
如果无法使用 Spark 读取 Kafka 标头，那么您能提出任何替代方案吗？
1 个解决方案
解决方案1
0 2020-04-17 15:08:28
我没有在 spark 2.X 中找到这样做的方法。 如果用例很简单，可以使用 Kafka connect SMT
将 Spark 2.4 更新为 Spark 3.1 后的 Spark/Kafka 错误
[英]Spark/Kafka error after updating Spark 2.4 to Spark 3.1
以 avro 格式将 dataframe 写入 kafka 主题以获取 spark < 2.4？
[英]Writing dataframe to kafka topic in an avro format for spark < 2.4?
结构流Kafka 2.1-> Zeppelin 0.8-> Spark 2.4：spark不使用jar
[英]structured streaming Kafka 2.1->Zeppelin 0.8->Spark 2.4: spark does not use jar
Apache 从 Kafka 读取的 Spark 2.4 Structure Streaming 总是应用多重转换后的二进制结构
[英]Apache Spark 2.4 Structure Streaming read from Kafka always Binary structure after applied multiple transformations
是否可以使用 spark 2.4 使用 Hadoop 3.x 和 Hive 3.x？
[英]Is it possible to use Hadoop 3.x and Hive 3.x using spark 2.4?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
相关问题
Kafka 2.4 与 Spark 2.4 兼容吗？
将 Spark 2.4 更新为 Spark 3.1 后的 Spark/Kafka 错误
使用 Apache Spark 生成带有 Headers 的 Kafka 消息
以 avro 格式将 dataframe 写入 kafka 主题以获取 spark < 2.4？
结构流Kafka 2.1-> Zeppelin 0.8-> Spark 2.4：spark不使用jar
Spark 3.x 与 Python 中的 Kafka 集成
Apache 从 Kafka 读取的 Spark 2.4 Structure Streaming 总是应用多重转换后的二进制结构
是否可以使用 spark 2.4 使用 Hadoop 3.x 和 Hive 3.x？
Spark 2.4 上带有字典的 UDF
Spark 2.4 的 lineSep 选项
相关标签