根据spider属性更新scrapy设置

Question

scrapy 有没有办法动态设置运行时给定的蜘蛛的设置？ 我想向我的蜘蛛添加一个isDebug变量，并根据它的值调整日志级别、管道和各种其他设置...

当尝试按照手册中的说明操作设置时，如下所示：

    def from_crawler(cls, crawler):
        settings = crawler.settings
        settings['USER_AGENT'] = 'Overwridden-UA'

我总是收到TypeError: Trying to modify an immutable Settings object

Answer 1

Settings对象本身是不可变的，但是有很多设置方法，例如ex settings.set 。set https://github.com/scrapy/scrapy/blob/129421c7e31b89b9b0f9c5f7d8ae59e47df36091/scrapy/settings/ init .py＃L234

Scrapy（从1.0开始）的最新版本的Spider具有类方法update_settings

@classmethod
def update_settings(cls, settings):
    settings.setdict(cls.custom_settings or {}, priority='spider')

旨在使用蜘蛛网的custom_settings属性中显示的设置覆盖设置。 因此，为了达到您的目标，您可以通过类似的方式覆盖该方法

class TheSpider(scrapy.Spider):
    name = 'thespider'
    is_debug = True
    custom_debug_settings = {
       # Put your debug settings here
    }

    @classmethod
    def update_settings(cls, settings):
        settings.setdict(getattr(cls, 'custom_debug_settings' \
                                      if getattr(cls, 'is_debug', False) \
                                      else 'custom_settings', None) or {},
                         priority='spider')

当然，在项目范围内也有“两个勺子的Django”，它们具有用于调试目的的自定义设置文件，因此可能是这样的：

settings.py （添加到文件末尾）：

try:
    from dev_settings import *
except ImportError:
    pass

那么您可以在settings.py旁边创建dev_settings.py ，并在其中添加要自定义的设置以用于开发目的-如果dev_settings.py存在，它们将被覆盖， 否则 ，导入将被忽略。

Answer 2

希望这也有帮助，因为这是我所需要的，也是我实际为我的用例工作的东西，我也有一些我想在运行时在自定义蜘蛛设置中更新的设置（注意：答案由mizhgun 启发，感谢 mizhgun、@stackoverflow 和整个开发社区）

settings_to_be_updated = {
    'USER_AGENT': 'Overwridden-UA',
}

class SpiderName(scrapy.Spider):
    name = 'spider_name'
    is_debug = True
    custom_settings = {
       # Put your all your custom settings here
    }

    @classmethod
    def update_settings(cls, settings):
        cls.custom_settings.update(settings_to_be_updated)
        settings.setdict(cls.custom_settings or {}, priority='spider')