我想在删除 flink 作业集群之前/之后删除所有 Rocksdb 文件。 我们在 K8s 上部署了 flink 作业。 我们将每个作业集群的状态存储在 Rocksdb 上。 当作业集群停止时,存储状态的rocksdb不会被删除。 有什么想法吗?

#1楼 票数:0 已采纳

RocksDB 不需要持久存储。 您可以简单地使用临时本地存储,而不是 PVC。 Flink 依靠检查点进行恢复,不需要本地 RocksDB 实例来生存。

另一方面,如果您想使用本地恢复,则需要使用持久性本地存储。

  ask by Jeff translate from so

未解决问题?本站智能推荐:

1回复

Flink作业创建RocksDB实例失败

我在Flink上运行了许多工作,后端使用了rockDB,我的一项工作出错了,并整夜重启, 错误消息,如: 当我发现它时,它会手动将其杀死,然后再次启动它。 如何发生此错误,我找不到来自Google或其他地方的任何消息
1回复

Flink-RocksDB中的localdir配置是什么?

我是 flink 的新手,我对状态后端配置有些困惑。 据我所知,RocksDB 将应用程序的所有状态保存在文件系统上。 我使用 s3 来存储状态,因此我将state.checkpoints.dir和state.savepoints.dir都配置为指向我的 s3 存储桶。 现在我看到还有另一个与 Ro
1回复

Flink如何与RocksDB后端异步做checkpoint

我正在将 Flink 与 RocksDB 一起使用。 从 Flink 的文档中我承认 Flink 在使用 RocksDB 后端时会异步创建检查点。 请参阅其文档中的说明。 可以让操作员在存储其状态快照的同时继续处理,有效地让状态快照在后台异步发生。 为此,操作员必须能够生成一个状态对象,该对象应该
1回复

在flink1.13中配置RocksDB

我已经在 Flink 1.13 版本中阅读了EmbeddedRocksDBStateBackend但有大小限制,所以我想保留我之前的 Flink 1.11 版本的当前配置,但重点是这种配置 RocksDB 的方式已被弃用( new RocksDBStateBackend("path", true);
1回复

Flink和RocksDB-列表状态是否大于主内存?

据我了解,RocksDB 数据在堆外存储在 RocksDB 实例或磁盘上,直到数据在 Flink 中的 RocksDBState 类中反序列化。 是否有可能有一个大于当前 Java 堆大小/堆外大小的单个列表状态? 从 RocksDBListState.java 中的代码来看,它似乎试图一次反序列化
1回复

在flink中使用RocksDB时遇到消费者问题

我有一份使用 RabbitMQ 的工作,我使用的是 FS State Backend,但似乎状态的大小变得更大,然后我决定将我的状态移动到 RocksDB。 问题是,在运行作业的前几个小时内,如果流量变慢,则在更长时间后发生事件,但是当流量再次变高时,消费者开始出现问题(事件堆积为未确认),然后这些
1回复

使用RocksDb作为状态后端的Flink检查点,空的chk-*目录太多

我将Rocksdb设置为状态后端的位置中存在太多空chk- *文件 我正在使用FlinkKafkaConsumer从Kafka主题获取数据。 我正在使用RocksDb作为状态后端。 我只是打印从卡夫卡收到的消息。 以下是我必须设置状态后端的属性: 在flink-conf.yaml中
2回复

Flink1.10.1中使用RocksDB状态后端的检查点问题

我们的 Flink 工作遇到了一个非常难以观察的问题。 Job 相当简单,它: 使用 Flink Kinesis 连接器从 Kinesis 读取消息 对消息进行密钥处理并将它们分发给大约 30 个不同的 CEP 操作员,以及几个自定义的 WindowFunctions 从 CEP/Window