Python Web爬网并存储到mysql

Question

我需要使用Python编写的优秀Web搜寻器，以将完整页面存储到mysql数据库中。 我正在尝试的小型系统现在使用PHP Sphider进行爬网并将其存储到数据库中。 我需要像sphider一样工作的东西，但是用Python编写。 因此，只需将数据库存储到表中，其他脚本就可以从中获取内容并完成我需要的其余工作。 Sphider速度很慢，想替换它。

因此，我查看了scrapy和其他一些项目，但是没有满足我的需求，这是我开始编写自己代码之前的最后尝试，所以如果有人知道什么可以解决我这个问题，请告诉我。

Answer 1

谨防！

这个答案是为初学者量身定制的，它不是最佳或最聪明的方法。

但是我强烈建议您scrapy 。 试试看教程。 并请记住使用Firefox + Firebug扩展程序来导航和了解后验解析器数据的内部路径 ， xpaths和html位置。

检查类似的答案“ 从Ruby到Python搜寻器 ”和“ Python读取我的Outlook电子邮件邮箱并解析消息 ”

节省您的时间，并使用带有FireBug扩展的Firefox（启用inspect ）