Spider用于在Scrapy中解析JSON

Question

我已经使用scrapy一段时间了，我想知道解析JSON的最佳方法是什么。 在scrapy viz中，有专门为XML和CSV设计的蜘蛛。 XMLFeedSpider和CSVFeedSpider 。 JSON是否也有这种蜘蛛？

Answer 1

Scrapy没有默认的JSON解析器，但是您可以使用json模块来解析您的响应并将其转换为项目：

jsonresponse = json.loads(response.body_as_unicode())

但是，如果您打算编写像CSVFeedSpider这样的通用解决方案， CSVFeedSpider随时将其贡献给Scrapy项目，但我想json.loads确实可以使用JSON响应。