我知道 state 存储在用户异常时被清除，并在启用 EOS 时从更改日志主题中恢复。 这是否也适用于由 kafka 流处理的其他内部异常？ 像 ProducerFencedException 或当 kafka 无法生成记录时因为负载太大或任何与连接相关的异常？ 如果不是，是否足以用 try-ca ...
我发现在 rocksdb 中对大量键使用合并运算符非常慢。 我的程序使用一个简单的关联合并运算符（ 基于上游 StringAppendOperator ），它使用给定键的定界符连接值。 合并所有键和程序完成运行需要很长时间。 PS：我从源代码构建了 rocksdb - latest master ...
我正在查看这篇Confluent 文章，并决定更改 RocksDB 的默认 memory 分配器。 但是，百胜找不到公式 jemalloc。 有没有一种简单的方法可以在 CentOS 8 中安装它而无需构建它？ ...
我正在尝试了解 rocksdb 的幕后工作原理。 我知道每个 SST 文件都有一个布隆过滤器，以指示某个密钥是否属于该文件。 但是当一个密钥从文件中删除时会发生什么？ Bloom 过滤器不支持删除，因此创建了一个新的 Bloom 过滤器？ ...
在 CockroachDB 成员撰写的早期博客中： https ://www.cockroachlabs.com/blog/sql-in-cockroachdb-mapping-table-data-to-key-value-storage/，作者指出 CockroachDB 的关键-值 API ...
默认情况下，RocksDB 将target_file_size_base设置为64 MB ，将target_file_size_multiplier设置为1 。 代码中的注释提到： 级别 L 的目标文件大小可以通过target_file_size_base * (target_file_size_m ...
示例 rocksdb 消耗了约 75M 的磁盘空间，其中 WAL 文件 (*.log) 占用了约 71M 的磁盘空间。 但是 ls 命令显示 WAL 文件的字节消耗实际上非常少。 我很想知道为什么一个内容非常少的 WAL 文件占用了如此多的磁盘空间，以及如何减少它。 du -h 的 Output ...
我正在构建 rocksdb 似乎 rocksdb 的 makefile 将检测我系统的压缩库（snappy，libz），如果安装了 rocksdb 将链接到它。 我对 rocksdb 如何做到这一点很感兴趣。 makefile 太复杂了，我找不到哪个部分可以完成这项工作。 我希望阻止这个动作，我 ...
对于一个特定的用例，我们正在使用 spark 结构化流，但这个过程不是高效和稳定的。 聚合状态操作是整个作业中耗时最多的阶段，也是 memory 的 crunching 阶段。 Spark Streaming 提供了 rocksDB 的实现来管理 state。它帮助我们获得了一些稳定性，但增加了 ...
我目前正在探索在 Spark Structured streaming 中启用异步检查点，但找不到任何方法。 DataBricks 为其 Spark 风格提供相同的功能。 Spark 结构化流 3.3.1 和 RocksDB 7.7.3 任何建议都一样。 ...
我们多年来一直在使用 RocksDb。 有一个 (.NET) 进程使用 RocksDbSharp 生成 RocskDb 数据。 有一个 C++ 库可以读取它们。 都是从 2018 年左右开始的。 两者都使用 Snappy 压缩。 C++库编译在C++ 11. 我们现在正在尝试升级到更新的 Roc ...
关于 State Stores and Rebalancing 的问题假设： 我们有 2 个输入主题，我们正在聚合记录并推入表中。 我们已经成功聚合了主题 1 的偏移量 10 和主题 2 的偏移量 100 问题：主题 1 的偏移量 11-13 和主题 2 聚合的偏移量 101-102 发生在内存中 ...
我想将一个结构保存为 RocksDB 中的一个值，为此，我想将 Struct 编码为一个字符序列。 我知道可以使用“any_as_u8_slice”（meshopt crate）转换为“u8”，但我找不到任何可以恢复转换的东西。 我如何将 Struct 转换为我可以在之后恢复的字符序列？ 这是一段 ...
我想展示一些关于 Rocksdb Put 性能的实验结果。 单线程 put 吞吐量比双线程 put 吞吐量慢的事实。 它是有线的，因为它使用默认的跳过列表作为 memtable，并且这个数据结构支持并发写入。 这是我的测试代码。uint64_t nthread = 2; uint64_t nke ...
我正在尝试 leftJoin 来自 2 个流的事件。 最初，我加入了 2 个 KStreams，一切正常。 但是，当我尝试将第二个 stream 转换为 KTable 时，出现错误。 这是将第二个 stream 转换为 KTable 的代码： 这是错误： 我将 Docker 用于 Kafka 和 Z ...
是否可以有效地使用 RocksDB 进行数字范围查询？ 例如，如果我有数十亿个元组(price, product_id) ，我可以使用 RocksDB 检索所有具有10 <= price <= 100的产品吗？ 或者它不能用于那个？ 我很困惑，因为我找不到任何关于数字键和范围查询的特定文 ...
我正在学习 LevelDB 和 RocksDB，并且对它们如何保持 WAL 数据完整性而不被截断感到困惑。 我发现了什么： 日志文件总是在块边界（即 8 KiB）处查找。 猜猜这意味着两个街区之间没有垃圾。 日志写入器（和底层的 WriteableFile）永远不会在写入失败时截断文件。 它只是继 ...
Rocks Db：嗨，我正在研究 Rocks db 用例。 以下是我试图理解的一些问题，任何帮助将不胜感激： Rocks数据库中的主键和分区键是如何定义的？ Rocks db 是否支持索引？ ...
我正在尝试配置我用作 flink 工作后端的rocksdb。 state Rocksdb 需要容纳的不是太大（5G 左右）但需要处理很多丢失的密钥。 我的意思是 80% 的 get 请求不会在数据库中找到密钥。 不知有没有具体配置可以帮助memory消费。 我尝试使用具有 3 位密钥的布隆过滤器并 ...
文档不清楚如何在使用rocksdb-jni时使用合并操作，我对C++ API不熟悉，如何定义合并操作？ ...