抓狂地管理多個蜘蛛

Question

我正在創建一個聚合器，並以scrapy作為初始工具集開始。 首先，我只有幾個蜘蛛，但是隨着項目的發展，隨着我抓取越來越多的網站，似乎我可能擁有數百甚至上千種蜘蛛。 什么是管理這些蜘蛛的最佳方法，因為某些網站只需要爬網一次，而有些則需要定期爬網？ 當處理如此多的網站時，抓癢仍然是一個很好的工具，或者您會推薦其他技術。

Answer 1

您可以從scrapy的創建者那里仔細地簽出項目。 但是，據我所知，它不適合解析包含javascript的網站（更確切地說，如果解析的數據不是由javascript生成的）。