[英]Unable to read Hindi/Devanagari with Python requests / urllib modules
我正在尝试抓取这个NREGA 网站,其中包含印地语即梵文脚本的数据。 结构很容易刮。 但是当我使用 requests/urllib 获取 html 代码时,印地语文本被转换为一些乱码。 不过,该文本在站点的代码源中显示良好。
content = requests.get(URL).text
站点中的 ' 1 पी एस ' 被解析为 ' 1 \\xe0\\xa4\\xaa\\xe0\\xa5\\x80 \\xe0\\xa4\\x8f\\xe0\\xa4\\xb8 ' 并在我尝试时显示为乱码导出到 csv。
来自服务器的响应未在其 Content-Type 标头中指定字符集,因此请求假定页面编码为 ISO-8859-1 (latin-1)。
>>> r = requests.get('https://mnregaweb4.nic.in/netnrega/writereaddata/citizen_out/funddisreport_2701004_eng_1314_.html')
>>> r.encoding
'ISO-8859-1'
事实上,页面被编码为 UTF-8,我们可以通过检查响应的apparent_encoding
编码属性来判断:
>>> r.apparent_encoding
'utf-8'
或通过实验:
>>> s = '1 \xe0\xa4\xaa\xe0\xa5\x80 \xe0\xa4\x8f\xe0\xa4\xb8'
>>> s.encode('latin').decode('utf-8')
'1 पी एस'
通过解码响应的content
属性可以获得正确的输出:
>>> html = r.content.decode(r.apparent_encoding)
声明:本站的技术帖子网页,遵循CC BY-SA 4.0协议,如果您需要转载,请注明本站网址或者原文地址。任何问题请咨询:yoyou2525@163.com.