如何通过Scrapy获取分页页面的内容

Question

我想设置Scrapy Python库，以便它遍历所有http://www.domain.com/classifieds/something/?pg=<page>页面，对于<page>从1 to 200 ，收集所有的URL形式为http://www.domain.com/classifieds/something/view/<number>/ ，其中<number>是一个长数字，最后通过Requests Python库检索这些urls的html代码吗？

Answer 1

定义一个CrawlSpider 。 在start_requests内部启动请求，并定义一个带有LinkExtractor的Rule ，该LinkExtractor指向classifieds/something/view/<number>/链接格式：

import scrapy
from scrapy.contrib.spiders import CrawlSpider, Rule
from scrapy.contrib.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    allowed_domains = ['www.domain.com']

    rules = [
        Rule(LinkExtractor(allow=r'classifieds/something/view/\d+/'), callback='parse_page')
    ]

    def start_requests(self):
        base_url = 'http://www.domain.com/classifieds/something/?pg='
        for page in xrange(1, 201):
            yield scrapy.Request(base_url + str(page))

    def parse_page(self, response):
        print response.body  # contains HTML code of the page

我在这里看不到使用requests ， Scrapy本身可以处理您描述的内容。