Scrapy 限制抓取的页面不起作用

Question

我有一个简单的爬虫，可以爬取网站上的所有链接。 我需要根据命令行参数（例如 boundary=3）限制它。 我的问题是我无法使CLOSESPIDER_ITEMCOUNT正常工作。 在 settings.py 中我添加了EXTENSIONS = {'scrapy.extensions.closespider.CloseSpider': 1}但它仍然抓取我简单网站上的所有链接而不是在 1 后停止

import scrapy
from scrapy.linkextractors import LinkExtractor
from scrapy.spiders import CrawlSpider, Rule
import logging
import os


class FollowAllSpider(CrawlSpider):
    custom_settings = {"CLOSESPIDER_ITEMCOUNT": 1, "CONCURRENT_REQUEST": 1}

    name = 'follow_all'
    allowed_domains = ['testdomain.com']

    start_urls = ['https://www.testdomain.com/simple-website/']
    rules = [Rule(LinkExtractor(), callback='parse_item', follow=True)]

    def parse_item(self, response):
        dirname = os.path.dirname(__file__)
        filename = response.url.split("/")[-1] + '.html'
        filePath = os.path.join(dirname, "pages/", filename)
        with open(filePath, 'wb') as f:
            f.write(response.body)
        return

Answer 1

如果你想限制抓取的页面数量，你应该使用CLOSESPIDER_PAGECOUNT而不是CLOSESPIDER_ITEMCOUNT 。

同样值得注意的是，您的蜘蛛不yield任何项目，因此如果您使用CLOSESPIDER_ITEMCOUNT ，则没有要计算的项目，因为您是直接写入文件。

您可以通过单击链接阅读有关CLOSESPIDER_PAGECOUNT和CLOSESPIDER_ITEMCOUNT的更多信息。

最后一件事，在使用CLOSESPIDER_PAGECOUNT时，您应该注意以下警告，因为您的结果可能与您的预期不符： https://stackoverflow.com/a/34535390/11326319