[英]Storing Data Locally in Python
我正在运行Scrapy项目,我正在寻找在本地存储已经删除的数据的最佳方法。 目前我正在使用AnyDBM
但在运行一段时间后我一直收到以下错误:
bsddb.db.DBRunRecoveryError: (-30973, 'DB_RUNRECOVERY: Fatal error, run database recovery -- PANIC: fatal region error detected; run recovery')
我是错误的,因为我对Python很陌生,但我想知道除了Anydbm之外是否有更好的解决方案。
我正在存储我已经抓取的页面的数字ID,并将存储大约500,000条记录,并计划为将来的项目提供3-4百万条记录。
AnyDBM是我应该坚持的,还是应该改为更适合这项工作的东西。
看起来非常适合sqlite
,已经是Python标准库的一部分。
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.