繁体 English 中英

"Spark Kafka Streaming 每 X 分钟读取一次数据"

[英]Spark Kafka Streaming Reading Data Every X minute

原文 2022-02-07 10:03:08 9 0 java/ apache-spark/ apache-kafka/ spark-streaming

我正在使用 Apache Spark 流式传输在 Kafka 集群中运行查询，我想每隔 1 分钟读取一次数据并使用一些逻辑输出相同的数据

例如：这里的时间是 Kafka 主题中数据可用的时间

Time =    0 sec      30 sec      1 min     1:15 min    1:30 min   2:00 min
Data =    ("dog",1)  ("dog",2)  ("cat",1)   ("cat",1)  ("cat",3)  ("dog",3)

0 个解决方案

使用kafka进行火花流传输一位消费者正在读取数据

[英]spark streaming with kafka one consumer is reading the data

使用火花流从 kafka 读取数据时出现 lz4 异常

[英]lz4 exception when reading data from kafka using spark streaming

Kafka和TextSocket Stream中的Spark Streaming数据传播

[英]Spark Streaming data dissemination in Kafka and TextSocket Stream

Spark Kafka Streaming Issue

[英]Spark Kafka Streaming Issue

Kafka Spark流式缓存

[英]Kafka Spark Streaming cache

Spark Streaming 中的 Kafka 消费者

[英]Kafka consumer in Spark Streaming

Spark Streaming Kafka Consumer

[英]Spark Streaming Kafka Consumer

Apache Spark-在流事件中捕获Kafka数据以触发工作流

[英]Apache Spark - capturing Kafka data on streaming event to trigger workflow

使用Apache Kafka生成数据并使用Spark Streaming接收数据

[英]Generate data with apache kafka and receive it using spark streaming

Spark Streaming作业如何在Kafka主题上发送数据并将其保存在Elastic中

[英]Spark Streaming job how to send data on Kafka topic and saving it in Elastic

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 使用kafka进行火花流传输一位消费者正在读取数据使用火花流从 kafka 读取数据时出现 lz4 异常 Kafka和TextSocket Stream中的Spark Streaming数据传播 Spark Kafka Streaming Issue Kafka Spark流式缓存 Spark Streaming 中的 Kafka 消费者 Spark Streaming Kafka Consumer Apache Spark-在流事件中捕获Kafka数据以触发工作流使用Apache Kafka生成数据并使用Spark Streaming接收数据 Spark Streaming作业如何在Kafka主题上发送数据并将其保存在Elastic中

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM