Scrapy - 從腳本調用scrapy時，如何立即將字典返回到進程，而不是導出到json文件

Question

官方教程指定了如何在python腳本中調用scrapy的方法

通過更改以下設置屬性：

settings.overrides['FEED_URI'] = output_path
settings.overrides['FEED_FORMAT'] = 'json'

我能夠將數據存儲在json文件中。

但是，我正在嘗試處理並返回在我定義的函數內立即抓取的數據。 因此，其他函數可以調用此包裝函數以廢棄某些網站。

我想必須有一些我可以用FEED_URI玩的設置，但我不確定。 任何建議將深深感激！

Answer 1

Feed導出用於序列化您已刪除的數據（請參閱Feed導出文檔 ）。 您要做的不涉及序列化。

你想要做的是創建一個管道 。 Scrapy將通刮Items的管道。 它們是字典，你可以隨心所欲地做任何事情。