如何在 python scrapy 中获取请求标头

Question

如何在 python scrapy 中获取动态表数据的请求标头？

单击按钮时发出请求。

有没有办法在不使用点击模拟的情况下获取数据？

Answer 1

您可以使用浏览器网络选项卡从网站提取请求。 观察网络选项卡以检查单击按钮时发出的请求。

之后，您可以使用Request class 向 scrapy 中的 API 发出相同的请求。

像这样的东西：

yield scrapy.Request("http://www.example.com/some_page.html",
                     headers={'header', 'value'},
                     callback=self.parse_table
                    )

有关Request的更多信息，请点击此处