[英]How Setup Number of Simultaneous requests in PYSPIDER
我正在嘗試使用 Pyspider 爬蟲掃描我的網站,我希望每 2 秒發出一個請求,但目前我知道同時發出 3 個請求,我找不到更改此參數的設置。
我在/usr/lib/python2.7/site-packages/pyspider/scheduler/scheduler.py
文件中找到了設置LOOP_INTERVAL
我設置為 2(秒)但現在每 2 秒發出 3 個請求而不是我只想要 1每 2 秒請求一次。
這是我的設置:
from pyspider.libs.base_handler import *
class Handler(BaseHandler):
crawl_config = {
}
@every(minutes=24 * 60)
def on_start(self):
self.crawl('https://example.com/', callback=self.index_page)
@config(age=10 * 24 * 60 * 60)
def index_page(self, response):
for each in response.doc('a[href^="http"]').items():
self.crawl(each.attr.href, callback=self.detail_page)
@config(priority=2)
def detail_page(self, response):
return {
"url": response.url,
"title": response.doc('title').text(),
}
那么我也想爬蟲到 go 只有 1 頁深,從哪里可以更改此參數?
看這里https://docs.pyspider.org/en/latest/About-Projects/#about-projects查找速率/突發。 我認為它會解決你的問題。 變化率/突發 = 0.02/1
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.