将网络抓取的python数据提取到SQLite，Excel或xml？

Question

我对Python和网络爬虫有点陌生，但是目前我需要将数据提取到数据库中。 有人可以使用sqlite，excel或xml告诉我优缺点吗？

我读过sqlite应该是最快的，所以我可能会选择这种数据库结构，但是有人可以告诉我从python中提取出sqlite数据后使用的IDE吗？

编辑：我希望我的帖子有意义。 我目前正在尝试从此处使用网络抓取工具： https ： //github.com/gingeleski/odds-portal-scraper

提前致谢。

Answer 1

当您说IDE时，我假设您正在寻找一种查看SQLite数据的方法？ 如果是这样， DBeaver是一个免费的开源SQL客户端。 您可以使用它轻松查看数据。

Answer 2

短期而言，Excel是检查数据以及原型分析和可视化效果的好方法。 对于非常大的数据集或多个类似的数据集，使用它会过时。 基本上，一旦您开始两次以上相同的操作或编写VB代码，就应该切换到pandas / matplotlib解决方案。

看起来您正在使用的抓取工具已经将结果存储在SQLITE数据库中，但是如果您将数据存储在列表或字典中，建议使用pandas进行计算，并使用matplotlib进行可视化，因为这样可以使您更强大长期可扩展的解决方案。 在SQLITE数据库和熊猫之间读取和写入数据非常容易。

必须查看数据库中的数据的一种好方法。 我目前正在使用SQLiteStudio 。