Flink - RocksDB 中的 localdir 配置是什么？

Question

我是 flink 的新手，我对状态后端配置有些困惑。

据我所知，RocksDB 将应用程序的所有状态保存在文件系统上。 我使用 s3 来存储状态，因此我将state.checkpoints.dir和state.savepoints.dir都配置为指向我的 s3 存储桶。 现在我看到还有另一个与 RocksDB 存储相关的选项，称为state.backend.rocksdb.localdir 。 这样做的目的是什么？（我看到我不能为此使用 s3）另外，如果 RocksDB 使用本地机器存储做某事，那么当我使用 Kubernetes 并且我的 pod 突然失败时会怎样？ 我应该使用持久存储吗？

另一件事，我不确定我是否正确理解了所有状态。 检查点是否保存了我的所有状态？ 比如我使用AggregationFunction，应用失败，应用恢复时，每个key的聚合值是否恢复？

Answer 1

Flink 的每个状态后端都将其工作状态保存在每个 worker 本地的某个地方，同时将检查点保存在某个持久的地方，例如 S3。 使用基于堆的状态后端，工作状态作为对象存储在 JVM 堆上，而使用 RocksDB，工作状态作为序列化字节存储在本地磁盘上（具有内存中的堆外缓存）。 出于性能原因，您不想将 S3（甚至网络附加存储）用于state.backend.rocksdb.localdir 。 如果可以，请使用本地 SSD 存储。

是的，如果您的应用程序失败，将恢复 AggregationFunction 中每个键的聚合值。 检查点包括所有内容，包括源和接收器、窗口、计时器、ProcessFunctions、RichFunctions 等保持的状态。