使用Scrapy抓取多个页面

Question

目的

用Scrapy和Python制作一个两层的深层Web爬虫。

问题

该网站的结构为1页，爬网程序大约在10个项目中跟踪链接并提取正确的数据。 问题在于该结构是10页的递归结构，但是最后一页的链接已更改，并且注意直接指向home1，但是指向home2。 对于第2页到第10页，我们希望爬虫执行相同的例程，因为对于这些页面，递归地重复了爬虫所遵循的模式。

网站结构

->website.com
-->          /home1
--->               /page/2
-->          /home2/doc/item

我可以使用下一个搜寻器从第一级访问数据。

一级爬虫

from scrapy.contrib.spiders import CrawlSpider, Rule
from mySpider.items import Item
from scrapy.linkextractors import LinkExtractor

class MySpider(CrawlSpider):
    name="spider"
    allowed_domains = ["website.com"]
    start_urls = ["https://website.com/home1/"]

    rules = [Rule(LinkExtractor(allow=('(/home2/doc/item((?!:).)*$'),), callback="parse_item", follow=True)]

    def parse_item(self, response):
            item = Item()
            name = response.xpath('//h3/text()')[0].extract()
            item['name'] = name
            return item

Answer 1

我不确定我是否完全理解您的问题，但是，如果您尝试从首页抓取多个URL，则可以在start_urls数组中列出它们。 这样一来，您就可以分别对每个页面进行爬网。

start_urls = [
    "https://website.com/home1/",
    "https://website.com/home2/",
    "https://website.com/home3/"
]

但是，如果要爬网home1并跟踪记录URL的顺序，以便可以在以下home2，home3等中进行爬网，则可以创建一个全局列表并将URL保存到该列表中。 另一个选择是创建一个URL列表，并使用带有scrapy.Request的meta属性将它们传递给以下请求。

请说明一下，很难理解用例。