使用 RocksDB 在 Spark 結構化流中進行異步檢查點

Question

我目前正在探索在 Spark Structured streaming 中啟用異步檢查點，但找不到任何方法。 DataBricks 為其 Spark 風格提供相同的功能。

Spark 結構化流 3.3.1 和 RocksDB 7.7.3

任何建議都一樣。

Answer 1

在 discord 上與 Speedb hive 分享了您的問題，這就是我們為您准備的； 來自我們的聯合創始人兼首席科學家 Hilik：

“Rocksdb 目前沒有異步檢查點的機制。檢查點是通過停止所有 i/o 刷新內存表然后在文件系統上使用硬鏈接來完成的。因為這是一個非常具有破壞性的操作，它存在於我們的 to-做列表。如果您有興趣，請向社區建議一個功能，我們將根據興趣對它進行優先排序”

希望這對您有所幫助，如果您有任何其他問題，請告訴我們。 加入Discord上的討論並單擊此處獲取有關您的問題的主題