在Python中本地存儲數據

Question

我正在運行Scrapy項目，我正在尋找在本地存儲已經刪除的數據的最佳方法。 目前我正在使用AnyDBM但在運行一段時間后我一直收到以下錯誤：

bsddb.db.DBRunRecoveryError: (-30973, 'DB_RUNRECOVERY: Fatal error, run database recovery -- PANIC: fatal region error detected; run recovery')

我是錯誤的，因為我對Python很陌生，但我想知道除了Anydbm之外是否有更好的解決方案。

我正在存儲我已經抓取的頁面的數字ID，並將存儲大約500,000條記錄，並計划為將來的項目提供3-4百萬條記錄。

AnyDBM是我應該堅持的，還是應該改為更適合這項工作的東西。

Answer 1

看起來非常適合sqlite ，已經是Python標准庫的一部分。

Answer 2

默認情況下，python附帶sqlite3 ，這是一個非常好的數據庫系統。

這是一個非常好的教程 。 要將表放入內存使用：

conn = sqlite3.connect(":memory:")
conn.isolation_level = None
cur = conn.cursor()