Python：解析JSON字符串时处理损坏的unicode字节

Question

我的代码从UserVoice网站获取一些内容。 您可能知道，UserVoice是一个无法正确处理数据的软件。 实际上，为了减少搜索页面上的文本量，他们将文本剪切为300个字符，然后在末尾添加“...”。 事实上， 他们不关心在多字节字符的中间切割 ，导致部分utf-8“字节”：例如。 对于è字符，我得到了\\xc3代替\\xc3\\xa8s 。

当然，当我把这个可怕的汤给json.loads ，它会因UnicodeDecodeError而失败。 所以我的问题很简单：如果我能访问函数的内部， 我怎么能让json.loads忽略这些坏字节 ，因为我会使用.decode('utf-8', 'ignore') ？

谢谢。

Answer 1

你不要求simplejson忽略它们。 当我遇到类似你的问题时，我只是运行了.decode('utf-8', 'ignore').encode('utf-8')并继续。

Answer 2

只需将Unicode字符串传递给json.loads() ：

>>> badstr = "qualité"[:-1]+".."
>>> badstr
'qualit\xc3..'
>>> json_str = '["%s"]' % badstr
>>> import json
>>> json.loads(json_str)
Traceback (most recent call last):
 ...
UnicodeDecodeError: 'utf8' codec can't decode byte 0xc3 in position 6: invalid \
continuation byte
>>> json.loads(json_str.decode('utf-8','ignore'))
[u'qualit..']