安排scrapy蜘蛛每N分鍾運行一次

Question

我需要幫助來安排我的蜘蛛每N分鍾運行一次。 早期我看到大多數人為此目的使用了reactor.callLater和reactor.run ，但似乎現在沒有可能使用這些功能。 我該如何安排程序化？

def run_crawl():
    """
    Run a spider within Twisted. Once it completes,
    wait 5 seconds and run another spider.
    """
    runner = CrawlerRunner(get_project_settings())
    runner.crawl(SpiderA)
    runner.crawl(SpiderB)
    deferred = runner.join()
    deferred.addCallback(reactor.callLater, 5, run_crawl)
    return deferred

run_crawl()
reactor.run()

此時我的爬蟲程序由Windows任務計划程序安排，但我想以編程方式安排它。

Answer 1

您可以嘗試使用名為schedule的外部模塊：
安排github鏈接

告訴我它是否不符合您的需求。