來自Spider的scrapy python call spider

Question

我有一個微調器，可抓取頁面並獲取所有網址。

我有另一個微調器，它上面有一個網址和廢料。

我想為從第一個微調器得到的每個鏈接調用第二個微調器。

從第一個微調器獲取所有鏈接的代碼

for site in sites:
            Link = site.xpath('a/@href').extract()

但我不知道如何為每個Link調用微調器

請幫助

Answer 1

我想您最好將兩個蜘蛛結合起來，然后執行以下操作：

def get_links(self, response):
    for site in sites:
        link = site.xpath('a/@href').extract()[0]
        yield Request(url=link, callback=self.scrape_them)

def scrape_them(self, response):
    # by now scrapy called the link and you get the response
    ...