[英]Spark Streaming Kafka Stream batch execution
我是火花流媒体的新手，我有一个与其使用有关的一般性问题。 我目前正在实现一个从Kafka主题流式传输数据的应用程序。
是否常常使用应用程序仅运行一次批处理，例如，一天结束，收集主题中的所有数据，进行一些聚合和转换等等？
这意味着在使用spark-submit启动应用程序后，所有这些内容将在一个批处理中执行，然后应用程序将关闭。 或是火花流构建为连续批次运行无限和永久流数据？
您可以使用kafka-stream api，并修复窗口时间，一次只对一个批处理事件中的事件执行聚合和转换。 有关窗口的移动信息，请访问https://kafka.apache.org/21/documentation/streams/developer-guide/dsl-api.html#windowing
Kafka和TextSocket Stream中的Spark Streaming数据传播
[英]Spark Streaming data dissemination in Kafka and TextSocket Stream
在 Spark 流中，是否可以将批处理数据从 kafka 插入到 Hive？
[英]In Spark streaming, Is it possible to upsert batch data from kafka to Hive?
如何从Spark结构化流媒体获取Kafka输出中的批次ID
[英]How to get batch ID in Kafka output from Spark Structured Streaming
如何使用Spark结构化流为Kafka流实现自定义反序列化器？
[英]How to implement custom deserializer for Kafka stream using Spark structured streaming?
如何使用直接流在Kafka Spark Streaming中指定使用者组
[英]how to specify consumer group in Kafka Spark Streaming using direct stream
限制Kafka批量大小时如何在每批中进行火花流提交？
[英]How to make spark streaming commit in each batch when limiting Kafka batch size?
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.
