如何使用Python 2处理恶意编码的字符？

Question

我要提取的HTML文件包含一些HTML标头中指定的编码不支持的字符：

我发现Shift_JIS编码不支持以下功能，但实际使用了以下功能。 我的浏览器可以正确显示这些字符。

• ∑ n进制求和U + 2211
• ﾟ半角片假名半清音标记U + FF9F
• 西里尔字母大写字母de U + 414

当我尝试读取此HTML文件并解码以进行处理时，出现UnicodeDecodeError。

url = 'http://matsucon.net/material/dic/kao09.html'
response = urllib2.urlopen(url)
response.read().decode('shift_jis_2004')

有什么好的方法可以处理包含错误编码字符的HTML，而不会出现错误？

Answer 1

尝试这个：

response.read().decode('shift_jis_2004',errors='ignore')