Python：'ascii'编解码器不能编码字符

Question

我使用以下代码来刮取包含日文字符的网页：

import urllib2
import bs4
import time

url = 'http://www.city.sapporo.jp/eisei/tiiki/toban.html'

pagecontent = urllib2.urlopen(url)
soup = bs4.BeautifulSoup(pagecontent.read().decode("utf8"))

print(soup.prettify())
print(soup)

在某些机器中，代码工作正常，最后两个语句成功打印结果。 但是，在某些机器中，最后一个语句会出错

UnicodeEncodeError 'ascii' codec can't encode characters in position 485-496: ordinal not in range(128),

最后一个语句打印所有日文字符的奇怪方块。

为什么两台机器的相同代码工作方式不同？ 我怎样才能解决这个问题？

Python版本2.6.6

bs4版本：4.1.0

Answer 1

您需要正确配置您的环境区域设置; 一旦你的语言环境被设置，Python将在打印到终端时自动拾取它。

使用locale命令检查您的语言locale ：

$ locale
LANG="en_GB.UTF-8"
LC_COLLATE="en_US.UTF-8"
LC_CTYPE="en_US.UTF-8"
LC_MESSAGES="en_US.UTF-8"
LC_MONETARY="en_US.UTF-8"
LC_NUMERIC="en_US.UTF-8"
LC_TIME="en_US.UTF-8"
LC_ALL="en_US.UTF-8"

请注意我的语言环境设置中的.UTF-8 ; 它告诉终端中运行的程序我的终端使用UTF-8编解码器，支持所有Unicode。

您可以使用LANG环境变量一步设置所有语言环境：

export LANG="en_US.UTF-8"

使用UTF-8编解码器进行美国语言环境（如何打印日期和数字）。 确切地说， LC_CTYPE设置用于输出编解码器，而输出编解码器默认为LANG值。

另请参阅Unix / Linux的非常全面的 UTF-8和Unicode FAQ 。