Scrapy Json 输出上的 Unicode

Question

我在scrapy的json输出上遇到问题。 爬虫工作良好，cli 输出工作没有问题。 XML 项目导出器正常工作，输出以正确的编码保存，文本不会被转义。

• 尝试使用管道并直接从那里保存项目。
• 使用来自 json 库的 Feed Exporters 和 jsonencoder

这些将不起作用，因为我的数据包含子分支。

json 输出文件中的 Unicode 文本是这样转义的：“\Ö\ğretmen S\üleyman Yurtta\ş Cad。”

但是对于 xml 输出文件，它的写法是正确的：“Öğretmen Süleyman Yurttaş Cad”。

甚至将scrapy 源代码更改为包含ensure_ascii=False for ScrapyJSONEncoder，但没有用。

那么，有没有办法强制scrapyjsonencoder在写入文件时不转义。

Edit1：顺便说一句，使用 Python 2.7.6 作为 scrapy 不支持 Python3.x

这是标准的scrapy爬虫。 蜘蛛文件、设置文件和项目文件。 首先从基本 url 开始抓取页面列表，然后从这些页面中抓取内容。 从页面中提取的数据被分配给在scrapy 项目的items.py 中定义的变量，以utf-8 编码。 这没有问题，因为在 XML 输出上一切正常。

scrapy crawl --nolog --output=output.json -t json 蜘蛛名

使用此命令，XML 输出可以正常工作：

scrapy crawl --nolog --output=output.xml -t xml spidername

我尝试编辑scrapy/contrib/exporter/ init .py 和scrapy/utils/serialize.py 以将ensure_ascii=False 参数插入json.JSONencoder。

编辑2：

再次调试调试，到Python2.7/json/encoder.py代码都没问题。 数据完好无损，没有逃逸。 在那之后，由于scrapy 异步工作并且有很多回调，因此很难调试。

编辑3：

有点脏，但在编辑 Python2.7.6/lib/json/encoder.py 并将 ensure_ascii 参数更改为 False 后，问题似乎解决了。

Answer 1

由于我没有要测试的代码，您可以尝试使用codecs尝试： import codecs f = codecs.open('yourfilename', 'your_mode', 'utf-8') f.write('whatever you want to write') f.close()

Answer 2

如文档中所述，将两个参数添加到 settings.py 中：

FEED = 'json'
FEED_EXPORT_ENCODING = 'utf-8'