如何在scrapy蜘蛛的start_urls中發送帖子數據

Question

我想抓取一個只支持發布數據的網站。 我想在所有請求中的post數據中發送查詢參數。 怎么做到這一點？

Answer 1

POST請求可以使用scrapy的Request或FormRequest類進行。

另外，請考慮使用start_requests()方法而不是start_urls屬性。

例：

from scrapy.http import FormRequest

class myspiderSpider(Spider):
    name = "myspider"
    allowed_domains = ["www.example.com"]

    def start_requests(self):
        return [ FormRequest("http://www.example.com/login",
                     formdata={'someparam': 'foo', 'otherparam': 'bar'},
                     callback=self.parse) ]

希望有所幫助。