簡體 English 中英

Spark KafkaUtils CreateRDD 在鍵上應用過濾器

[英]Spark KafkaUtils CreateRDD apply filter on key

原文 2021-05-30 10:20:22 3 1 java/ apache-spark/ apache-kafka

我有一個巨大的 Kafka 主題，其中包含幾個鍵值消息。 我只想用 RDD 中的給定鍵處理數據，而不必下載整個主題。 數據也是交錯的，所以我什至不能依賴主題中的偏移量關於如何執行此操作的任何建議？

1 個解決方案

不可能。 需要過濾它們（全部）。

使用KafkaUtils.createRDD（spark和kafka）創建JavaPairRDD

[英]Creating a JavaPairRDD using KafkaUtils.createRDD (spark and kafka)

Spark Streaming 不包含 KafkaUtils

[英]Spark Streaming doesn't contain KafkaUtils

無法使用KafkaUtils：Spark 1.6.0創建Java輸入dstream。

[英]Unable to create Java input dstreams using KafkaUtils :Spark 1.6.0

如何將字典鍵應用於值項目到Spark中數據集中的列？

[英]how to apply dictionary key to value project to a column in dataset in spark?

如何在hibernate中對composite-id鍵屬性應用過濾器

[英]how to apply filter on composite-id key property in hibernate

將數據集應用為Spark中的廣播

[英]Apply dataset as Broadcast in Spark

在spark中過濾KeyValueGrouped數據集

[英]filter KeyValueGrouped Dataset in spark

（可選）在流上應用過濾器

[英]Optionally apply filter on stream

為GHE問題應用過濾器

[英]Apply filter for GHE issues

在頁面對象上應用過濾器

[英]Apply filter on Page objects

暫無

暫無

聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.

相關問題 使用KafkaUtils.createRDD（spark和kafka）創建JavaPairRDD Spark Streaming 不包含 KafkaUtils 無法使用KafkaUtils：Spark 1.6.0創建Java輸入dstream。如何將字典鍵應用於值項目到Spark中數據集中的列？如何在hibernate中對composite-id鍵屬性應用過濾器將數據集應用為Spark中的廣播在spark中過濾KeyValueGrouped數據集（可選）在流上應用過濾器為GHE問題應用過濾器在頁面對象上應用過濾器

相關標簽

粵ICP備18138465號 © 2020-2024 STACKOOM.COM