Scrapy Shell - 如何更改USER_AGENT

Question

我有一个功能齐全的scrapy脚本来从网站中提取数据。 在设置过程中，目标站点根据我的USER_AGENT信息禁止了我。 我随后添加了一个RotateUserAgentMiddleware来随机旋转USER_AGENT。 这非常有效。

但是，现在当我尝试使用scrapy shell来测试xpath和css请求时，我收到403错误。 我确定这是因为scrapy shell的USER_AGENT默认为某个值，目标网站已列入黑名单。

问题：是否可以使用与默认值不同的USER_AGENT来获取scrapy shell中的URL？

fetch（' http：//www.test '）[添加一些东西？ 更改USER_AGENT]

谢谢

Answer 1

scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'

Answer 2

在scrapy shell中，您可以在request header设置User-Agent 。

url = 'http://www.example.com'
request = scrapy.Request(url, headers={'User-Agent': 'Mybot'})
fetch(request)