Scrapy Python Crawler-每个都有不同的Spider吗？

Question

我想使用scrapy抓取许多其他站点。 我想知道这样做的最佳方法是什么？

您对要抓取的每个站点使用不同的“项目”，还是使用不同的“蜘蛛”，或者都不使用？

任何输入将不胜感激

Answer 1

每个站点不同的项目是一个最差的想法。

每个站点使用不同的SPIDER是一个好主意。

如果您可以在一个SPIDER中调整多个站点（基于自然界），则是最好的主意。

但是同样取决于您的要求 。