如何在flink中设置rocksdb的memtable大小？

Question

我想限制rocsdb的内存大小。 我有几个问题：1，taskmanager.memory.size配置是否包括rocksdb memtable的内存量？ 2，是否有任何配置可以设置rocksdb的memtable大小。

Answer 1

1. RocksDB内存不包含在Flink的内存参数中。 您必须确保Flink为RocksDB留下足够的内存。 但是，这并非易事，因为Flink将为有状态运算符的每个实例使用一个RocksDB实例。 这意味着每个TaskManager的RocksDB实例的数量取决于作业中有状态运算符的数量以及这些运算符的并行性（每个TM最多运行一个运算符的#slots实例）。

2. 配置RocksDBStateBackend时，可以传递任何RocksDB参数。