繁体 English 中英

Spark KafkaUtils CreateRDD 在键上应用过滤器

[英]Spark KafkaUtils CreateRDD apply filter on key

原文 2021-05-30 10:20:22 7 1 java/ apache-spark/ apache-kafka

我有一个巨大的 Kafka 主题，其中包含几个键值消息。 我只想用 RDD 中的给定键处理数据，而不必下载整个主题。 数据也是交错的，所以我什至不能依赖主题中的偏移量关于如何执行此操作的任何建议？

1 个解决方案

不可能。 需要过滤它们（全部）。

使用KafkaUtils.createRDD（spark和kafka）创建JavaPairRDD

[英]Creating a JavaPairRDD using KafkaUtils.createRDD (spark and kafka)

Spark Streaming 不包含 KafkaUtils

[英]Spark Streaming doesn't contain KafkaUtils

无法使用KafkaUtils：Spark 1.6.0创建Java输入dstream。

[英]Unable to create Java input dstreams using KafkaUtils :Spark 1.6.0

如何将字典键应用于值项目到Spark中数据集中的列？

[英]how to apply dictionary key to value project to a column in dataset in spark?

如何在hibernate中对composite-id键属性应用过滤器

[英]how to apply filter on composite-id key property in hibernate

将数据集应用为Spark中的广播

[英]Apply dataset as Broadcast in Spark

在spark中过滤KeyValueGrouped数据集

[英]filter KeyValueGrouped Dataset in spark

（可选）在流上应用过滤器

[英]Optionally apply filter on stream

为GHE问题应用过滤器

[英]Apply filter for GHE issues

在页面对象上应用过滤器

[英]Apply filter on Page objects

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 使用KafkaUtils.createRDD（spark和kafka）创建JavaPairRDD Spark Streaming 不包含 KafkaUtils 无法使用KafkaUtils：Spark 1.6.0创建Java输入dstream。如何将字典键应用于值项目到Spark中数据集中的列？如何在hibernate中对composite-id键属性应用过滤器将数据集应用为Spark中的广播在spark中过滤KeyValueGrouped数据集（可选）在流上应用过滤器为GHE问题应用过滤器在页面对象上应用过滤器

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM