Scrapy Shell - 如何更改USER_AGENT

Question

我有一個功能齊全的scrapy腳本來從網站中提取數據。 在設置過程中，目標站點根據我的USER_AGENT信息禁止了我。 我隨后添加了一個RotateUserAgentMiddleware來隨機旋轉USER_AGENT。 這非常有效。

但是，現在當我嘗試使用scrapy shell來測試xpath和css請求時，我收到403錯誤。 我確定這是因為scrapy shell的USER_AGENT默認為某個值，目標網站已列入黑名單。

問題：是否可以使用與默認值不同的USER_AGENT來獲取scrapy shell中的URL？

fetch（' http：//www.test '）[添加一些東西？ 更改USER_AGENT]

謝謝

Answer 1

scrapy shell -s USER_AGENT='custom user agent' 'http://www.example.com'

Answer 2

在scrapy shell中，您可以在request header設置User-Agent 。

url = 'http://www.example.com'
request = scrapy.Request(url, headers={'User-Agent': 'Mybot'})
fetch(request)