標簽[rocksdb] - 堆棧內存溢出

[英]Does Kafka Streams also wipes out state store data on internal exceptions?

我知道 state 存儲在用戶異常時被清除，並在啟用 EOS 時從更改日志主題中恢復。這是否也適用於由 kafka 流處理的其他內部異常？像 ProducerFencedException 或當 kafka 無法生成記錄時因為負載太大或任何與連接相關的異常？如果不是，是否足以用 try-ca ...

rocksdb 合並運算符對於大量鍵的性能非常慢

[英]rocksdb merge operarator performance is very slow for large number of keys

我發現在 rocksdb 中對大量鍵使用合並運算符非常慢。我的程序使用一個簡單的關聯合並運算符（基於上游 StringAppendOperator ），它使用給定鍵的定界符連接值。合並所有鍵和程序完成運行需要很長時間。 PS：我從源代碼構建了 rocksdb - latest master ...

在 Centos 上安裝 jemalloc 8

[英]Install jemalloc on Centos 8

我正在查看這篇Confluent 文章，並決定更改 RocksDB 的默認 memory 分配器。但是，百勝找不到公式 jemalloc。有沒有一種簡單的方法可以在 CentOS 8 中安裝它而無需構建它？ ...

rocksdb 刪除鍵是如何工作的

[英]How rocksdb delete key works

我正在嘗試了解 rocksdb 的幕后工作原理。我知道每個 SST 文件都有一個布隆過濾器，以指示某個密鑰是否屬於該文件。但是當一個密鑰從文件中刪除時會發生什么？ Bloom 過濾器不支持刪除，因此創建了一個新的 Bloom 過濾器？ ...

如何在 RocksDB 中實現條件放置？

[英]How to implement conditional put in RocksDB?

在 CockroachDB 成員撰寫的早期博客中： https ://www.cockroachlabs.com/blog/sql-in-cockroachdb-mapping-table-data-to-key-value-storage/，作者指出 CockroachDB 的關鍵-值 API ...

確定RocksDB中每個級別的文件數

[英]Determining the number of files in each level in RocksDB

默認情況下，RocksDB 將target_file_size_base設置為64 MB ，將target_file_size_multiplier設置為1 。代碼中的注釋提到：級別 L 的目標文件大小可以通過target_file_size_base * (target_file_size_m ...

Rocks DB WAL 文件具有高磁盤使用率

[英]Rocks DB WAL file has high disk usage

示例 rocksdb 消耗了約 75M 的磁盤空間，其中 WAL 文件 (*.log) 占用了約 71M 的磁盤空間。但是 ls 命令顯示 WAL 文件的字節消耗實際上非常少。我很想知道為什么一個內容非常少的 WAL 文件占用了如此多的磁盤空間，以及如何減少它。 du -h 的 Output ...

makefile：鏈接到庫（如果已安裝）。如何？以及如何禁用？

[英]makefile: link to a library if it installed. How to? and how to disable?

我正在構建 rocksdb 似乎 rocksdb 的 makefile 將檢測我系統的壓縮庫（snappy，libz），如果安裝了 rocksdb 將鏈接到它。我對 rocksdb 如何做到這一點很感興趣。 makefile 太復雜了，我找不到哪個部分可以完成這項工作。我希望阻止這個動作，我 ...

Spark Structured Streaming state 管理與 RocksDB

[英]Spark Structured Streaming state management with RocksDB

對於一個特定的用例，我們正在使用 spark 結構化流，但這個過程不是高效和穩定的。聚合狀態操作是整個作業中耗時最多的階段，也是 memory 的 crunching 階段。 Spark Streaming 提供了 rocksDB 的實現來管理 state。它幫助我們獲得了一些穩定性，但增加了 ...

使用 RocksDB 在 Spark 結構化流中進行異步檢查點

[英]Async Checkpointing in Spark Structured Streaming using RocksDB

我目前正在探索在 Spark Structured streaming 中啟用異步檢查點，但找不到任何方法。 DataBricks 為其 Spark 風格提供相同的功能。 Spark 結構化流 3.3.1 和 RocksDB 7.7.3 任何建議都一樣。 ...

RocksDb 7.9.0 庫無法打開 RocksDb 6.2.2 文件？

[英]RocksDb 7.9.0 library can't open RocksDb 6.2.2 files?

我們多年來一直在使用 RocksDb。有一個 (.NET) 進程使用 RocksDbSharp 生成 RocskDb 數據。有一個 C++ 庫可以讀取它們。都是從 2018 年左右開始的。兩者都使用 Snappy 壓縮。 C++庫編譯在C++ 11. 我們現在正在嘗試升級到更新的 Roc ...

如果 state 商店沒有刷新到變更日志中，Kafka Streams 會重播源主題嗎？

[英]Do Kafka Streams replay source topics if state store didn't get flushed into changelog?

關於 State Stores and Rebalancing 的問題假設：我們有 2 個輸入主題，我們正在聚合記錄並推入表中。我們已經成功聚合了主題 1 的偏移量 10 和主題 2 的偏移量 100 問題：主題 1 的偏移量 11-13 和主題 2 聚合的偏移量 101-102 發生在內存中 ...

如何將“struct”轉換為 stream 的數據？

[英]How to convert 'struct' to a stream of data?

我想將一個結構保存為 RocksDB 中的一個值，為此，我想將 Struct 編碼為一個字符序列。我知道可以使用“any_as_u8_slice”（meshopt crate）轉換為“u8”，但我找不到任何可以恢復轉換的東西。我如何將 Struct 轉換為我可以在之后恢復的字符序列？這是一段 ...

Rocksdb並發Put性能

[英]Rocksdb concurrent Put performance

我想展示一些關於 Rocksdb Put 性能的實驗結果。單線程 put 吞吐量比雙線程 put 吞吐量慢的事實。它是有線的，因為它使用默認的跳過列表作為 memtable，並且這個數據結構支持並發寫入。這是我的測試代碼。uint64_t nthread = 2; uint64_t nke ...

Apple M1 - RocksDBException 導致打開商店時出錯：將 KStream 加入 KTable 時找不到列族

[英]Apple M1 - Error opening store caused by RocksDBException: Column family not found when joining KStream to KTable

我正在嘗試 leftJoin 來自 2 個流的事件。最初，我加入了 2 個 KStreams，一切正常。但是，當我嘗試將第二個 stream 轉換為 KTable 時，出現錯誤。這是將第二個 stream 轉換為 KTable 的代碼：這是錯誤：我將 Docker 用於 Kafka 和 Z ...

RocksDB：數字范圍查詢

[英]RocksDB: range query on numbers

是否可以有效地使用 RocksDB 進行數字范圍查詢？例如，如果我有數十億個元組(price, product_id) ，我可以使用 RocksDB 檢索所有具有10 <= price <= 100的產品嗎？或者它不能用於那個？我很困惑，因為我找不到任何關於數字鍵和范圍查詢的特定文 ...

posix write 是否確保文件偏移在失敗時保持不變？

[英]Does posix write ensure file offset unchanged on failure?

我正在學習 LevelDB 和 RocksDB，並且對它們如何保持 WAL 數據完整性而不被截斷感到困惑。我發現了什么：日志文件總是在塊邊界（即 8 KiB）處查找。猜猜這意味着兩個街區之間沒有垃圾。日志寫入器（和底層的 WriteableFile）永遠不會在寫入失敗時截斷文件。它只是繼 ...

RocksDB 是否支持基本的關鍵概念？

[英]Does rocksdb support basic key concepts?

Rocks Db：嗨，我正在研究 Rocks db 用例。以下是我試圖理解的一些問題，任何幫助將不勝感激： Rocks數據庫中的主鍵和分區鍵是如何定義的？ Rocks db 是否支持索引？ ...

調整 RocksDB 以處理大量丟失的鍵

[英]Tuning rocksDB to handle a lot of missing keys

我正在嘗試配置我用作 flink 工作后端的rocksdb。 state Rocksdb 需要容納的不是太大（5G 左右）但需要處理很多丟失的密鑰。我的意思是 80% 的 get 請求不會在數據庫中找到密鑰。不知有沒有具體配置可以幫助memory消費。我嘗試使用具有 3 位密鑰的布隆過濾器並 ...

如何在 Java 中使用 Rocksdb 合並？

[英]How to use Rocksdb merge in Java？

文檔不清楚如何在使用rocksdb-jni時使用合並操作，我對C++ API不熟悉，如何定義合並操作？ ...