堆棧內存溢出
cost 315 ms
調整 RocksDB 以處理大量丟失的鍵

[英]Tuning rocksDB to handle a lot of missing keys

我正在嘗試配置我用作 flink 工作后端的rocksdb。 state Rocksdb 需要容納的不是太大（5G 左右）但需要處理很多丟失的密鑰。 我的意思是 80% 的 get 請求不會在數據庫中找到密鑰。 不知有沒有具體配置可以幫助memory消費。 我嘗試使用具有 3 位密鑰的布隆過濾器並 ...

我可以在放置時備份rocksdb嗎？

[英]can I backing up rocksdb while putting?

我想在不阻塞我的寫入調用的情況下備份rocksdb，我期望的狀態是rocksdb應該在那個時候備份數據並在備份時忽略寫入調用，有沒有合適的方法來完成這個？ ...

有沒有辦法在 Java 中獲得與 RocksDb 的強一致性？

[英]Is there a way to get Strong Consistency with RocksDb in Java?

我有一個使用多個線程訪問單個 RocksDB 的程序。 我們對給定文檔的工作流程是讀取緩存，做一些工作，然后更新緩存。 我的代碼使用鏈式 CompletableFutures 按順序處理多個文檔（並在開始后續文檔之前處理第一個文檔）。 所以我的 RocksDB 工作負載包括（讀、寫）對同一個鍵重復 ...

創建測試數據后是否需要等待后台壓縮完成才能進行良好的讀取基准測試？

[英]Do I need to wait for background compaction to finish after creating test data to do a good read benchmark?

我正在為我自己的應用程序數據使用 RocksDB Java 做一些基准測試，並希望在開始測量讀取性能之前確保創建的數據盡可能最佳地存儲（即如果在插入期間/之后進行任何后台壓縮等我想等待它完成）。 這是我需要關心的事情嗎？如果是的話，我如何以編程方式知道何時可以開始我的閱讀基准測試？ ...

Rocks DB 讀取實例不反映來自寫入實例的數據

[英]Rocks DB read instances not reflecting data from write instance

我有一個 rockDB 寫入實例，它將數據寫入“/rocksDB/data”。 我讀過的實例也指向“/rocksDB/data”，但它們無法讀取寫入實例正在寫入的數據。 如果我重新啟動讀取實例，它們就可以讀取數據。 有沒有辦法讓讀取實例讀取寫入實例寫入的最新密鑰而無需重新啟動。 也有興趣了解此行為背 ...

無法創建 class 原因：com.esotericsoftware.kryo.KryoException：java.io.EOFException：沒有剩余字節

[英]Could not create class Caused by: com.esotericsoftware.kryo.KryoException: java.io.EOFException: No more bytes left

我發現在特定的小型集群和我的本地機器上運行作業時出現問題。 這項工作在大型機器上運行順利。 我正在使用： com.twitter“冷協議”0.7.6 .排除 com.esotericsoftware.kryo “kryo” com.google.protobuf“protobuf-java”3 ...

有沒有辦法從 RocksDb 中的“ColumnFamilyName”中檢索“ColumnFamilyHandle”？

[英]Is there a way to retrieve `ColumnFamilyHandle` from `ColumnFamilyName` in RocksDb?

或者，有沒有辦法從數據庫中獲取所有當前打開的ColumnFamilyHandles ？ 我知道 static function RocksDB.listColumnFamilies 。 但這會返回一個List<byte[]> List containing the column fam ...

可以在數據庫打開時使用 java 庫更改 RocksDB 設置嗎？

[英]Can RocksDB settings be changed with the java library while the database is open?

使用 java 庫，任何配置更改都可以在不需要重新打開數據庫的情況下生效嗎？ 例如level0SlowdownWritesTrigger 。 更多上下文：我正在嘗試在批量加載模式和常規模式之間切換。 例如，在應用啟動時禁用自動壓縮，加載數據，然后啟用自動壓縮。 在測試中，這使我的初始加載時間減少了 ...

在rocksdb中按鍵排序

[英]Sorting by key in rocksdb

我試圖在java中將大量數據與2個文件夾條目folder1和folder2進行比較。 每個文件夾包含幾個文件，每個文件大小約為 10 MB。 我在每個文件夾中有大約 100 個文件。 每個文件都包含一個鍵值行，類似於（每個文件夾的總行數約為 5 億行）： 第一步 首先，在我上面的示例中使用 ...

在kafka流應用程序中關閉或不關閉RocksDB Cache和WriteBufferManager

[英]To close or to not close RocksDB Cache and WriteBufferManager in kafka streams app

我目前正在通過擴展RocksDBConfigSetter接口在我的流應用程序中使用自定義RocksDB配置。 我看到有關關閉cache和writeBufferManager實例的文檔相互沖突。 現在，我看到 javadoc 和其中一個文檔頁面建議我們需要在重寫的RocksDBConfigSette ...

在 flink 中使用 RocksDB 時遇到消費者問題

[英]Having consumer issues when RocksDB in flink

我有一份使用 RabbitMQ 的工作，我使用的是 FS State Backend，但似乎狀態的大小變得更大，然后我決定將我的狀態移動到 RocksDB。 問題是，在運行作業的前幾個小時內，如果流量變慢，則在更長時間后發生事件，但是當流量再次變高時，消費者開始出現問題（事件堆積為未確認），然后這些 ...

如何使用 RocksDB 尾隨迭代器？

[英]How to use RocksDB tailing iterator?

我正在使用 RocksDB Java JNI 並希望在將新條目添加到 RocksDB 時獲取它們。 在這里，我想它是在那個時刻（即1 sec之后）創建一個快照，並且只有那些添加的元素才會被打印出來。 我預計尾隨迭代器應該被阻塞，因為將添加新條目。 有沒有關於如何在 RocksDB 中使用尾迭代器的 ...

RocksDB配置建議

[英]Suggestion on RocksDB Configuration

我正在尋找有關我的 RocksDB 配置的建議。 我們的用例是將 100GB 的鍵值對加載到 RocksDB 中，並且在運行時只為數據庫中的鍵值對提供服務。 鍵是 32 字節，值是 1.6 KB。 我們現在擁有的是我們使用 hadoop 使用 SstFileWriter api 生成一個 100GB ...

卡夫卡流 API: Session Window 異常

[英]Kafka Streams API: Session Window exception

我正在嘗試創建一個 Kafka 拓撲並將其分解為更具可讀性。 我有一個按鍵分組的 stream ，然后我試圖 window 像這樣： 不幸的是，拋出了以下異常： 我不確定問題是否與未在某處指定的 Serdes 相關。 我在按鍵分組時確實使用.groupByKey(Grouped.with(Serde ...

RocksDB 迭代器搜索直到最后一個匹配的前綴

[英]RocksDB iterator seek until last matching prefix

如何告訴 RocksDB 迭代器搜索直到最后一個匹配的前綴？ 在 Clojure 中使用 RocksDB Java API： 我是否必須手動檢查下一個鍵是否與前綴匹配？ 這似乎不太理想，因為當 RocksDB 可以提前彈出時，我必須輸入整個密鑰來檢查它。 ...


排序:
質量:
 
粵ICP備18138465號  © 2020-2024 STACKOOM.COM