Scrapy 從一個文件運行多個蜘蛛

Question

我用 2 個蜘蛛/類制作了 1 個文件。 第二個蜘蛛使用第一個蜘蛛的一些數據。 但它似乎不起作用。 這是我為啟動和啟動蜘蛛所做的事情

process=CrawlerProcess()
process.crawl(Zoopy1)
process.crawl(Zoopy2)
process.start()

你有什么建議

Answer 1

您的代碼將同時運行 2 個蜘蛛。
可以使用@defer.inlineCallbacks 順序運行蜘蛛（在Zoopy1 Zoopy2 ：

from twisted.internet import reactor, defer
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
...

configure_logging()
runner = CrawlerRunner()

@defer.inlineCallbacks
def crawl():
    yield runner.crawl(Zoopy1)
    yield runner.crawl(Zoopy2)
    reactor.stop()

crawl()
reactor.run()

替代選項（如果它適合您的任務） - 是將 2 個蜘蛛的邏輯合並到單個蜘蛛 Class，