具有多個蜘蛛的Scrapy項目-忽略自定義設置

Question

場景 ：

• 具有多個蜘蛛的單個草木項目。
• 每個蜘蛛定義的自定義設置。

問題：

• 一旦執行（即抓取抓取...），正在執行的蜘蛛的自定義設置將被同一項目中另一個蜘蛛的自定義設置覆蓋。

spider01.py

class FirstXmlSpider(XMLFeedSpider):

# Spider Name
name = 'spider01'

# Initialise Settings
now = datetime.datetime.now()
settings.set('LOG_FILE', './logs/' + name + '_' + now.strftime("%Y%m%d_%H%M%S") + '.txt')

spider02.py

class SecondXmlSpider(XMLFeedSpider):

# Spider Name
name = 'spider02'

# Initialise Settings
now = datetime.datetime.now()
settings.set('LOG_FILE', './logs/' + name + '_' + now.strftime("%Y%m%d_%H%M%S") + '.txt')

重現步驟

1. 執行抓爬網Spider01
2. 檢查日志目錄（希望查看以spider01_開頭的日志文件）
3. 請參閱內容正確但文件名錯誤的日志文件（spider02_）。

有任何想法嗎？ 過去，我使用多個蜘蛛程序設置了抓取項目，沒有問題。 不知道為什么我現在遇到問題？

Answer 1

從Scrapy 1.0開始 ，您可以為蜘蛛添加自定義設置，而無需更改項目的全局設置。 只需在custom_settings添加一個名為custom_settings的屬性custom_settings 。

看一下文檔： http : //doc.scrapy.org/en/latest/topics/settings.html#settings-per-spider