如何将每个Scrapy蜘蛛物品与另一个Scrapy蜘蛛物品进行比较？

Question

我需要一个解决方案来将SecondSpider每个项目与SecondSpider的所有项目进行FirstSpider 。 签出此伪代码。

class FirstSpider(Spider):
    all_items = []

    def parse(self, response):
        trs = response.xpath("table tr")
        for tr in trs:
            item = SomeItem()
            item["one"] = "one"
            yield item

class SecondSpider(Spider):
    def parse(self, response):
        trs = response.xpath("table tr")
        for tr in trs:
            item = SomeItem()
            item["one"] = "one"
            if item in FirstSpider.all_items:
                yield item

谢谢！

Answer 1

我假设您的蜘蛛一个接一个地运行： FirstSpider收集所有数据，然后运行SecondSpider 。 在这种情况下，一种解决方案是将FirstSpider返回的所有项目保存到一个临时文件中，然后在初始化SecondSpider时将其SecondSpider 。 在这种情况下，您可以在本地访问所有数据并可以对其进行过滤。

或者，您可以创建一个物料管道，该管道从FirstSpider加载导出的物料，并过滤SecondSpider返回的SecondSpider 。