爬行速度慢（60頁/分鍾）

Question

我遇到緩慢的抓取速度（大約1頁/秒）。 我正在從AWS服務器抓取主要網站，因此我認為這不是網絡問題。 Cpu利用率遠沒有達到100，如果我啟動多個抓取進程，爬網速度會更快。

Scrapy似乎爬了一堆頁面，然后掛了幾秒鍾，然后重復。

我試着玩：CONCURRENT_REQUESTS = CONCURRENT_REQUESTS_PER_DOMAIN = 500

但這似乎並不能使針頭移動超過20個。

Answer 1

您確定可以高速爬網目標站點嗎？ 許多站點都實現下載閾值，並且“過一會兒”開始緩慢響應。