仅在迭代结束时将项目保存在Scrapy中

Question

我的代码流有问题。 我试图：

-在第n.1页中，迭代一个table并获取有关每行项目的一些信息，因为每一项都获得第n.2页的链接

-转到之前捕获的第n.2页，并在table进行迭代，以获取第n.3页的每一行的链接，其中包含第n.2页的table中每一行的重要信息

这是代码：

def parse(self, response):
    row = response.xpath("//*[@id='lista-table']//tr")
    #ignore fist element
    for sel in row[1:]:    
        l = ItemLoader(item=ComicscraperItem(), selector=sel)
        l.add_xpath('titleEdition', './td[1]//a/text()')
        l.add_xpath('linkEdition', './/td[1]//a/@href')
        l.add_xpath('year', './td[2]/text()')
        l.add_xpath('numbers', './td[3]/text()')
        l.add_xpath('publisher', './td[5]/text()')

        link_2page = 'https://site//' + sel.xpath('./td[1]//a/@href').get()
        yield scrapy.Request(link_2page, callback=self.parse_2page, meta={'l': l})

def parse_2page(self, response):
    l = response.meta['l']
    l.add_xpath('detailsEdition', "./div[@class='dettagli_testo']/text()")

    row2page = response.xpath("//*[@id='lista-table']//tr")
    for sel2page in row2page[1:]:
        n3page = sel2page.xpath('.//td[1]//a/@href').get()

        link_3page = 'https://site//' + n3page
        yield scrapy.Request(link_3page, callback=self.parse_3page, meta={'l': l})

def parse_3page(self, response):
    l = response.meta['l']
    l.add_value('issueTitle', response.xpath("//div[@id='intestazione']//h1/text()").get())
    return l.load_item()

我得到这样的输出：

{"titleEdizione": ["ZONA X"], "linkEdizione": ["serie/ZONAX"], "year": ["1992"], "numbers": ["45"], "publisher": ["Sergio Bonelli Editore"], "issueTitle": ["Zona X # 45\t\t\t\t", "Zona X # 44\t\t\t\t"]},
{"titleEdizione": ["ZONA X"], "linkEdizione": ["serie/ZONAX"], "year": ["1992"], "numbers": ["45"], "publisher": ["Sergio Bonelli Editore"], "issueTitle": ["Zona X # 45\t\t\t\t", "Zona X # 44\t\t\t\t", "Zona X # 42\t\t\t\t"]},
{"titleEdizione": ["ZONA X"], "linkEdizione": ["serie/ZONAX"], "year": ["1992"], "numbers": ["45"], "publisher": ["Sergio Bonelli Editore"], "issueTitle": ["Zona X # 45\t\t\t\t", "Zona X # 44\t\t\t\t", "Zona X # 42\t\t\t\t", "Zona X # 41\t\t\t\t"]},
{"titleEdizione": ["ZONA X"], "linkEdizione": ["serie/ZONAX"], "year": ["1992"], "numbers": ["45"], "publisher": ["Sergio Bonelli Editore"], "issueTitle": ["Zona X # 45\t\t\t\t", "Zona X # 44\t\t\t\t", "Zona X # 42\t\t\t\t", "Zona X # 41\t\t\t\t", "Zona X # 43\t\t\t\t"]},...

相反，我试图实现这样的输出：

{"titleEdizione": ["ZONA X"], "linkEdizione": ["serie/ZONAX"], "year": ["1992"], "numbers": ["45"], "publisher": ["Sergio Bonelli Editore"], "issueTitle": ["Zona X # 45\t\t\t\t", "Zona X # 44\t\t\t\t", "Zona X # 42\t\t\t\t", "Zona X # 41\t\t\t\t", "Zona X # 43\t\t\t\t"]},...

我怎样才能做到这一点？ 有人可以向我解释正确的scrapy工作流程吗？

Answer 1

您无需在parse_2page中重用相同的项目加载器对象（ l ）， parse_2page需要为for循环中的每一行实例化一个新的项目加载器对象，这与您在初始parse函数中所做的类似。

您可以为此使用Python的copy.deepcopy 。 因此，在parse_2page的末尾，将meta={'l': l}切换为meta={'l': deepcopy(l)} 。