[英]How can I rerun a scrapy request object in Python?
我正在使用Scrapy,在response_is_ban函數中,我有兩個對象,一個{Request}對象和一個{Response}對象。
from scrapy.http import Request
由於某種原因,Scrapy請求返回的結果與標准Curl不同。
有沒有一種方法可以重新運行{Request}對象?
就像是:
response = request.get_again()
目的是弄清楚我的Curl函數和Scrapy請求對象之間到底有什么區別,以及為什么它們會返回不同的結果。 任何建議都將受到歡迎。
編輯:我有另一個問題,Scrapy在代碼中實際上體現了該請求嗎? 我可以在其中放置調試點的地方有request.get()函數嗎?
對於調試,您可以從scrapy.shell
會話中使用fetch
: https : scrapy.shell
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.