什么是將URI存儲在磁盤上以便快速讀取的最佳數據庫？

Question

我正在為鏈接數據編寫Web爬網程序，並且需要在磁盤上存儲爬網的URI（不一定是分布式的，但可以是）。 我的搜尋器將不斷檢查存儲中是否存在URI。 如果存在URI，則不執行任何操作；如果不存在，則將對URI進行爬網並將URI寫入存儲。 剛開始時，由於存儲空間將非常空，因此寫入的次數將大於讀取的次數，但在某些時候，讀取的次數將大於寫入的次數，我贊成更快的讀取速度。 我不需要任何聯接操作，等等。我正在考慮基於文檔的NoSQL存儲，並且定義了key =“ URI的域”，value =“整個URI的數組”。 我不確定是否需要該值的二級索引。

Answer 1

由於您僅對搜索和存儲感興趣，因此SQLite適合您的目的。 這是一個輕量級的數據庫引擎。

Selamlar。