无法从Spider获取网址计数（Scrapy）

Question

我试图在SitemapSpider获取要刮擦的网址数量。 我尝试覆盖start_requests方法，但它显示0。我有一个sitemap_url ，其中包含数千个URL。 我想获得这些网址的数量。

这是我尝试过的方法，但我想来自sitemap的Urls不在start_urls中。

class MainSpider(SitemapSpider):
    name = 'main_spider'
    allowed_domains = ['...']
    sitemap_urls = ['http://.../sitemap.xml']

    def start_requests(self):
        r = super(MainSpider, self).start_requests()
        self.urls_count = len(self.start_urls)
        print self.urls_count 
        return r

你知道怎么弄号码吗？

Answer 1

您可以在下面使用。

class MainSpider(SitemapSpider):
    name = 'main_spider'
    allowed_domains = ['...']
    sitemap_urls = ['http://.../sitemap.xml']

    def start_requests(self):
        r = super(MainSpider, self).start_requests()
        r_list = list(r)
        print len(r_list)
        return r_list

super(MainSpider, self).start_requests()返回一个生成器，列表将确保您获得完整的收益。 但这会在大型站点地图的情况下减慢您的抓取工具的启动速度。 实际的刮擦可能会延迟一点