python-scrapinghub，ascii / utf8？

Question

Python 3.4.2

我正在使用Scrapinghub API的客户端接口，可在此处找到：

https://github.com/scrapinghub/python-scrapinghub

我刮了一个网站，并希望获得并打印物品

for item in job.items():
  print(item)

在python解释器中，此方法工作正常，但是当我在脚本中导出代码（例如'test.py'并使用'python3 test.py'运行它时，会出现错误，提示：

Traceback (most recent call last):
File "test.py", line 24, in <module>
print(insert_statement)
UnicodeEncodeError: 'ascii' codec can't encode character '\xdf' in position 247: ordinal not in range(128)

第24行的文字是这样的：[...] TobiasWeiß[...]

我已经运行了'dpkg-reconfigure locales'并将其设置为'de_DE.UTF-8 UTF-8'，但这似乎不是问题。

我是否必须为每个结果将项目dict转换为utf8还是我没有看到其他解决方案？

from scrapinghub import Connection

conn = Connection('1234567890')
project = conn[123456]



jobs = project.jobs(state='finished')

for job in jobs:
    if "consumed" not in job.info['tags']:
            for item in job.items():
                   print(item)

问候

Answer 1

我找到了一个解决方案，似乎可行。

在外壳中，我必须输入：

export LC_ALL=C.UTF-8
export LANG=C.UTF-8

我也从这里跟随了指令： https ://blog.scrapinghub.com/2016/08/17/introducing-scrapy-cloud-with-python-3-support/

引入具有Python 3支持的Scrapy Cloud

一直感谢大家！