無法從pipeline.py內部停止Scrapy

Question

因此，我正在為我的Scrapy數據編寫一個驗證器，並希望蜘蛛在數據格式不正確時停止抓取。 我正在Pipeline.py中執行此操作。

我已經嘗試過調用CloseSpider，close_spider和crawler._signal_shutdown（9,0）（已在其他教程中使用，但由於某些原因無法在pipeline.py中使用）。 我知道蜘蛛並不能立即完成，但是上述所有方法似乎都會產生某種錯誤。 有沒有直接的方法可以殺死爬蟲？

Answer 1

您的CloseSpider器由於其計划的某些請求而仍在工作，並且為正常關閉創建了CloseSpider 。 這意味着在關閉搜尋器之前，所有正在處理的請求都將被取消或完成。 您是否以這種方式調用close_spider()

Answer 2

只需嘗試下面的代碼即可消除Spider的過程：

raise SystemExit