一只一只地跑不止一只蜘蛛

Question

我正在使用 Scrapy 框架讓蜘蛛爬行一些網頁。 基本上，我想要的是抓取網頁並將它們保存到數據庫中。 我每個網頁有一只蜘蛛。 但是我無法立即運行這些蜘蛛，以至於在另一只蜘蛛完成爬行之后，蜘蛛開始爬行。 如何實現？ scrapyd 是解決方案嗎？

Answer 1

scrapyd 確實是一個好方法，可以使用max_proc或max_proc_per_cpu配置來限制並行 spdiers 的數量，然后您將使用 scrapyd rest api調度蜘蛛，例如：

$ curl http://localhost:6800/schedule.json -d project=myproject -d spider=somespider