URL字符串中的UTF8字符

Question

我写了一个解析网站的小脚本。 我从http://foo.com/h\äppo这样的链接中获得了一个“ä”字符，其形式为\ä ，我需要http://foo.com/häppo 。

Answer 1

你拥有的角色\ä已经是正确的。 事实上，这就是ä 。

有时，字符串的表示（ repr ）将以转义形式显示它，就像反斜杠\\将显示为转义\\\\ 。 那部分没问题。

实际问题

实际问题是您不能在URL中使用ä。 只有一小部分ASCII字符在URLS中有效（请参阅哪些字符使URL无效？ ）。

因此，您必须转义部分网址。

>>> urllib.parse.quote('ä')
'%C3%A4'

>>> urllib.parse.quote('\u00e4')  # same thing
'%C3%A4'

但要小心不要逃避整个URL，只有部分是要转义的实际字符串。 例如，这是错误的：

>>> urllib.parse.quote('https://www.google.com/?q=\u00e4')
'https%3A//www.google.com/%3Fq%3D%C3%A4'

你想要做的：

>>> 'https://www.google.com/?q=' + urllib.parse.quote('\u00e4')
'https://www.google.com/?q=%C3%A4'

试试看看会发生什么： https ： //www.google.com/？q =％C3％A4

Answer 2

不幸的是，这在很大程度上取决于您解析的站点的编码以及本地IO编码。

我不确定你是否可以在解析后翻译它，如果它真的值得工作。 如果你有机会再次解析它，你可以尝试使用python的decode()函数，如：

text.decode('utf8')

除此之外，请检查上面使用的编码是否与本地环境中的编码相同。 这在Windows环境中特别重要，因为它们使用cp1252作为标准编码。

在Mac和Linux中： export PYTHONIOENCODING=utf8在Windows中： set PYTHONIOENCODING=utf8

它并不多，但我希望它有所帮助。