如何在 python scrapy 中獲取請求標頭

Question

如何在 python scrapy 中獲取動態表數據的請求標頭？

單擊按鈕時發出請求。

有沒有辦法在不使用點擊模擬的情況下獲取數據？

Answer 1

您可以使用瀏覽器網絡選項卡從網站提取請求。 觀察網絡選項卡以檢查單擊按鈕時發出的請求。

之后，您可以使用Request class 向 scrapy 中的 API 發出相同的請求。

像這樣的東西：

yield scrapy.Request("http://www.example.com/some_page.html",
                     headers={'header', 'value'},
                     callback=self.parse_table
                    )

有關Request的更多信息，請點擊此處