EventHub 的偏移量管理

Question

摘要 - 我正在使用 Scala spark 读取 eventthub 作为源并保存为流数据帧

我的流媒体 dataframe output 如下所示

scala> messages.writeStream.outputMode("append").option("truncate", false) .format("console").start() .awaitTermination()
+----------+-----------------------+----------+---+--------+----+-------+
|Offset    |Time (readable)        |Timestamp |id |date    |user|integer|
+----------+-----------------------+----------+---+--------+----+-------+
|4294970696|2022-01-25 07:20:19.082|1643113219|001|01292017|you |2696   |
+----------+-----------------------+----------+---+--------+----+-------+

如何在此代码中实现偏移管理。 我了解检查站的位置。 但我想根据我的事件失败处理偏移量管理，并根据之前的偏移量处理下一次启动。 我无法实现这个逻辑。 感谢一些指导