繁体 English 中英

使用Spark结构化流式2.2批处理API的Kafka偏移量管理

[英]Kafka offset management with Spark structured streaming 2.2 batch API

原文 2018-01-15 17:29:52 2 1 apache-spark/ apache-kafka/ spark-streaming

只想知道Kafka偏移量的检查点是否适用于Spark结构化流（2.2）批处理API，还是我们需要管理偏移量？

1 个解决方案

如果您指的是批处理DataFrame阅读器（例如spark.read.format("kafka") ），而不是流阅读器（例如spark.readStream.format("kafka") ），则说明没有内置抵消管理。 由于它是一个批处理API，因此通常您可以按此处所述自行指定偏移量。 对于流式传输，Spark可以为您执行偏移管理，因为它会在连续处理时读取多个范围的批次。

Spark Structured Streaming Kafka Offset 管理

[英]Spark Structured Streaming Kafka Offset Management

Spark结构化流Kafka集成偏移管理

[英]Spark Structured Streaming Kafka Integration Offset management

Spark Structured Streaming Kafka 错误——偏移量已更改

[英]Spark Structured Streaming Kafka error -- offset was changed

从Kafka倒转偏移Spark结构化流

[英]Rewind Offset Spark Structured Streaming from Kafka

Spark Structured Streaming - kafka 偏移处理

[英]Spark Structured Streaming - kafka offset handling

Spark Structured Streaming NOT 处理 Kafka 偏移量过期

[英]Spark Structured Streaming NOT process Kafka offset expires

在使用 Kafka 的 Spark Structured streaming 中，Spark 如何管理多个主题的偏移量

[英]In Spark Structured streaming with Kafka, how spark manages offset for multiple topics

Spark (2.2)：使用结构化流从 Kafka 反序列化 Thrift 记录

[英]Spark (2.2): deserialise Thrift records from Kafka using Structured Streaming

KafkaUtils API | 抵消管理| Spark Streaming

[英]KafkaUtils API | offset management | Spark Streaming

Spark结构化流式批处理

[英]Spark Structured Streaming Batch

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Spark Structured Streaming Kafka Offset 管理 Spark结构化流Kafka集成偏移管理 Spark Structured Streaming Kafka 错误——偏移量已更改从Kafka倒转偏移Spark结构化流 Spark Structured Streaming - kafka 偏移处理 Spark Structured Streaming NOT 处理 Kafka 偏移量过期在使用 Kafka 的 Spark Structured streaming 中，Spark 如何管理多个主题的偏移量 Spark (2.2)：使用结构化流从 Kafka 反序列化 Thrift 记录 KafkaUtils API | 抵消管理| Spark Streaming Spark结构化流式批处理

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM