繁体 English 中英

Spark Streaming Kafka初始偏移

[英]Spark Streaming Kafka initial offset

原文 2017-11-10 22:59:11 6 1 apache-spark/ apache-kafka/ spark-streaming

我正在对KafkaUtils.createDirectStream使用Java Spark API，我想跟踪偏移量。 有一个名为fromOffset的参数，该参数在Kafka主题的分区中记录偏移量。 对于第一次运行，我不知道会有多少个分区，那么如何设置此参数？ 我需要在Kafka参数中设置“ auto.offset.reset”吗？ 如果是，是否会影响我的代码从已知偏移量中恢复？

1 个解决方案

您有两种选择：

如果您没有有关分区的任何信息，请不要将该参数提供给createDirectStream。 createDirectStream方法有多种实现。 在这种情况下，将使用每个topicPartition的最早或最新偏移量（基于auto.offset.reset参数）
您可以使用常用的kafka API查找分区和偏移量。 例如，看看如何在Kafka 0.10中找到主题分区的偏移范围？

Spark Streaming Kafka偏移量管理

[英]Spark Streaming kafka offset manage

Spark Streaming在处理过程中定期维护kafka偏移

[英]Spark streaming maintain kafka offset periodically as it processes

Spark Structured Streaming Kafka Offset 管理

[英]Spark Structured Streaming Kafka Offset Management

Spark结构化流Kafka集成偏移管理

[英]Spark Structured Streaming Kafka Integration Offset management

Spark Structured Streaming Kafka 错误——偏移量已更改

[英]Spark Structured Streaming Kafka error -- offset was changed

从Kafka倒转偏移Spark结构化流

[英]Rewind Offset Spark Structured Streaming from Kafka

Spark流媒体应用程序不断重置kafka偏移量

[英]Spark streaming app resets kafka offset continuously

Spark Structured Streaming - kafka 偏移处理

[英]Spark Structured Streaming - kafka offset handling

Spark Structured Streaming NOT 处理 Kafka 偏移量过期

[英]Spark Structured Streaming NOT process Kafka offset expires

在使用 Kafka 的 Spark Structured streaming 中，Spark 如何管理多个主题的偏移量

[英]In Spark Structured streaming with Kafka, how spark manages offset for multiple topics

暂无

暂无

声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.

相关问题 Spark Streaming Kafka偏移量管理 Spark Streaming在处理过程中定期维护kafka偏移 Spark Structured Streaming Kafka Offset 管理 Spark结构化流Kafka集成偏移管理 Spark Structured Streaming Kafka 错误——偏移量已更改从Kafka倒转偏移Spark结构化流 Spark流媒体应用程序不断重置kafka偏移量 Spark Structured Streaming - kafka 偏移处理 Spark Structured Streaming NOT 处理 Kafka 偏移量过期在使用 Kafka 的 Spark Structured streaming 中，Spark 如何管理多个主题的偏移量

相关标签

粤ICP备18138465号 © 2020-2024 STACKOOM.COM