調度Scrapy Spider與腳本之間的間隔時間

Question

假設我有一個蜘蛛，我需要多次跑步

class My_spider(Scrapy.spider):
    #spider def

我想做這樣的事情

while True:
    runner = CrawlerRunner()
    deferred = runner.crawl(My_spider)
    deferred.addBoth(lambda _: reactor.stop())
    reactor.run()
    time.sleep(180)

有沒有辦法做到這一點？ 我認為我已經用Google搜索了12個小時以上，而我嘗試的所有方法都無法正常工作，或者遇到了ReactorNotRestartable或其他問題。 此時，我正在考慮僅編寫一個單獨的模塊，該模塊將安排控制台命令。

Answer 1

使用計划模塊而不是時間。 這是你怎么做

import schedule

schedule.every(1).minute.do(runner.crawl(My_spider))
while True:
    schedule.run_pending()

這將每1分鍾運行一次抓取功能。 在此處了解有關此庫的更多信息