Flink 如何与 RocksDB 后端异步做 checkpoint

Question

我正在将 Flink 与 RocksDB 一起使用。 从 Flink 的文档中，我承认 Flink 在使用 RocksDB 后端时会异步创建检查点。 请参阅其文档中的描述。

可以让操作员在存储其 state 快照的同时继续处理，从而有效地让 state 快照在后台异步发生。 To do that, the operator must be able to produce a state object that should be stored in a way such that further modifications to the operator state do not affect that state object. 例如，在 RocksDB 中使用的写时复制数据结构具有这种行为。

据我了解，当需要创建检查点时，操作员将为 Rocksdb 执行以下步骤：

1. 刷新内存表中的数据
2. 将 db 文件夹复制到另一个 tmp 文件夹中，该文件夹包含 RocksDB 中的所有数据
3. 将复制的数据上传到远程 Fs 系统。 （这一步是异步的）

我的理解对吗？ 或者任何人都可以帮助说明细节？

非常感谢，因为我找不到任何文档来描述细节。

Answer 1

发现一个博客提到了这个过程：

为此，Flink 在 RocksDB 中触发刷新，强制所有 memtables 进入磁盘上的 sstables，并硬链接到本地临时目录中。 这个过程与处理管道同步，Flink 异步执行所有进一步的步骤，不会阻塞处理。

有关详细信息，请参阅链接： 增量检查点