如何打印 Scrapy 发送的请求 header？

Question

我要做的任务是打印 scrapy 发送的请求 header。 我对如何使用 scrapy 中间件有点迷茫。

我在项目settings.py文件中激活了下载器中间件。

DOWNLOADER_MIDDLEWARES = {
    'CarDataPull.middlewares.CardatapullDownloaderMiddleware': 543,
}

然后我将以下行添加到middlewares.py文件中的 function process_request 。

 print('I was here')
 with open('request_header.txt', 'wb') as a:
     a.write(request)

我看不到这个 function 被激活的任何迹象。

谁能告诉我如何激活那个特定的 function？ 还是有另一种方法来打印请求 header？

Answer 1

在启动 scrapy 时返回多个日志条目，包括活动中间件列表。
此日志行[scrapy.middleware] INFO: Enabled downloader middlewares:应该有您的中间件的名称，如果您希望它已启用。
如果没有 - 这意味着您的中间件未激活（最常见的情况 - 中间件路径问题）。