在 flink 1.13 中配置 RocksDB

Question

我在 Flink 1.13 版本中阅读了有关EmbeddedRocksDBStateBackend但有大小限制，所以我想保留我以前的 Flink 版本 1.11 的当前配置，但关键是这种配置 RocksDB 的方式已被弃用（ new RocksDBStateBackend("path", true); ）。

我已经尝试使用EmbeddedRocksDBStateBackend (new EmbeddedRocksDBStateBackend(true))进行新配置，但出现此错误：

java.util.concurrent.ExecutionException: java.io.IOException: Size of the state is larger than the maximum permitted memory-backed state. Size=9126648 , maxSize=5242880 . Consider using a different state backend, like the File System State backend.

从 Java 以编程方式为 flink 1.13 配置 RocksDB state 后端的最佳方法是什么？

Answer 1

在 Flink 1.13 中，我们重新组织了 state 后端，因为旧的方式导致了对工作方式的许多误解。 所以这两个问题被解耦了：

1. 您的工作 state 的存储位置（state 后端）。 （对于 RocksDB，它应该被配置为使用最快的可用本地磁盘。）
2. 检查点的存储位置（检查点存储）。 在大多数情况下，这应该是一个分布式文件系统。

对于旧的 API，在 RocksDB 的情况下涉及两个不同的文件系统这一事实被传递给RocksDBStateBackend构造函数的检查点路径的方式所掩盖。 因此，该配置已移至其他地方（见下文）。

此表显示了旧版 state 后端和新后端（结合检查点存储）之间的关系：

旧版 State 后端	全新 State 后端 + 检查点存储
MemoryStateBackend	HashMapStateBackend + JobManagerCheckpointStorage
FsStateBackend	HashMapStateBackend + FileSystemCheckpointStorage
RocksDBStateBackend	EmbeddedRocksDBStateBackend + FileSystemCheckpointStorage

在您的情况下，您希望将EmbeddedRocksDBStateBackend与FileSystemCheckpointStorage一起使用。 您当前遇到的问题是您正在使用 RocksDB 的内存检查点存储 ( JobManagerCheckpointStorage )，这严重限制了 state 可以检查点的数量。

您可以通过在flink-conf.yaml中指定检查点目录来解决此问题

state.backend: rocksdb
state.checkpoints.dir: file:///checkpoint-dir/

# Optional, Flink will automatically default to FileSystemCheckpointStorage
# when a checkpoint directory is specified.
state.checkpoint-storage: filesystem

或在您的代码中

StreamExecutionEnvironment env = StreamExecutionEnvironment.getExecutionEnvironment();
env.setStateBackend(new EmbeddedRocksDBStateBackend());
env.getCheckpointConfig().setCheckpointStorage("file:///checkpoint-dir");

// If you manually passed FsStateBackend into the RocksDBStateBackend constructor
// to specify advanced checkpointing configurations such as write buffer size,
// you can achieve the same results by using manually instantiating a FileSystemCheckpointStorage object.
env.getCheckpointConfig().setCheckpointStorage(new FileSystemCheckpointStorage("file:///checkpoint-dir"));

有关完整的详细信息，请参阅有关从旧后端迁移的文档。