无法从pipeline.py内部停止Scrapy

Question

因此，我正在为我的Scrapy数据编写一个验证器，并希望蜘蛛在数据格式不正确时停止抓取。 我正在Pipeline.py中执行此操作。

我已经尝试过调用CloseSpider，close_spider和crawler._signal_shutdown（9,0）（已在其他教程中使用，但由于某些原因无法在pipeline.py中使用）。 我知道蜘蛛并不能立即完成，但是上述所有方法似乎都会产生某种错误。 有没有直接的方法可以杀死爬虫？

Answer 1

您的CloseSpider器由于其计划的某些请求而仍在工作，并且为正常关闭创建了CloseSpider 。 这意味着在关闭搜寻器之前，所有正在处理的请求都将被取消或完成。 您是否以这种方式调用close_spider()

Answer 2

只需尝试下面的代码即可消除Spider的过程：

raise SystemExit