Spark Streaming Kafka初始偏移
[英]Spark Streaming Kafka initial offset
問題描述
我正在對KafkaUtils.createDirectStream使用Java Spark API，我想跟蹤偏移量。 有一個名為fromOffset的參數，該參數在Kafka主題的分區中記錄偏移量。 對於第一次運行，我不知道會有多少個分區，那么如何設置此參數？ 我需要在Kafka參數中設置“ auto.offset.reset”嗎？ 如果是，是否會影響我的代碼從已知偏移量中恢復？
1 個解決方案
解決方案1
0 2017-11-11 20:15:23
您有兩種選擇：
如果您沒有有關分區的任何信息，請不要將該參數提供給createDirectStream。 createDirectStream方法有多種實現。 在這種情況下，將使用每個topicPartition的最早或最新偏移量（基於
auto.offset.reset參數）您可以使用常用的kafka API查找分區和偏移量。 例如，看看如何在Kafka 0.10中找到主題分區的偏移范圍？
Spark Streaming在處理過程中定期維護kafka偏移
[英]Spark streaming maintain kafka offset periodically as it processes
Spark Structured Streaming Kafka 錯誤——偏移量已更改
[英]Spark Structured Streaming Kafka error -- offset was changed
Spark Structured Streaming NOT 處理 Kafka 偏移量過期
[英]Spark Structured Streaming NOT process Kafka offset expires
在使用 Kafka 的 Spark Structured streaming 中，Spark 如何管理多個主題的偏移量
[英]In Spark Structured streaming with Kafka, how spark manages offset for multiple topics
聲明:本站的技術帖子網頁，遵循CC BY-SA 4.0協議，如果您需要轉載，請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.
相關問題
Spark Streaming Kafka偏移量管理
Spark Streaming在處理過程中定期維護kafka偏移
Spark Structured Streaming Kafka Offset 管理
Spark結構化流Kafka集成偏移管理
Spark Structured Streaming Kafka 錯誤——偏移量已更改
從Kafka倒轉偏移Spark結構化流
Spark流媒體應用程序不斷重置kafka偏移量
Spark Structured Streaming - kafka 偏移處理
Spark Structured Streaming NOT 處理 Kafka 偏移量過期
在使用 Kafka 的 Spark Structured streaming 中，Spark 如何管理多個主題的偏移量
相關標簽