Scrapy：将变量从中间件传递给蜘蛛本身
[英]Scrapy: Pass variable from Middleware to Spider itself
问题描述
我正在尝试捕获原始请求有效负载和请求标头，以便在我的数据库中进行跟踪。 我知道response.request.headers但那是返回的请求标头。
是否可以创建一个中间件来捕获 request.headers 和有效负载（正文）并将其作为元标记或类似的东西发送给蜘蛛？
1 个解决方案
解决方案1
0 2022-07-12 16:41:25
我找到了一种方法（没有中间件）：
- 将 scrapy.Request() 存储到变量中，例如
req -
req.headers.to_unicode_dict()存储到self.req_headers -
req.body存储到self.req_body - 执行
yield req发送请求
如何将参数传递给抓痒的蜘蛛并从python内部初始化
[英]how to pass an argument into a scrapy spider and init it from within python
Python Scrapy | 如何将响应从蜘蛛传递给主 function
[英]Python Scrapy | How to pass the response to the main function from the spider
声明:本站的技术帖子网页，遵循CC BY-SA 4.0协议，如果您需要转载，请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.