Spider用於在Scrapy中解析JSON

Question

我已經使用scrapy一段時間了，我想知道解析JSON的最佳方法是什么。 在scrapy viz中，有專門為XML和CSV設計的蜘蛛。 XMLFeedSpider和CSVFeedSpider 。 JSON是否也有這種蜘蛛？

Answer 1

Scrapy沒有默認的JSON解析器，但是您可以使用json模塊來解析您的響應並將其轉換為項目：

jsonresponse = json.loads(response.body_as_unicode())

但是，如果您打算編寫像CSVFeedSpider這樣的通用解決方案， CSVFeedSpider隨時將其貢獻給Scrapy項目，但我想json.loads確實可以使用JSON響應。