Scrapy XPath选择器文本的Unicode和UTF-8编码问题

Question

我正在使用Scrapy和Python（作为Django项目的一部分）来抓取一个包含德语内容的网站。 我安装了libxml2作为Scrapy选择器的后端。

如果我通过选择器提取'Hüftsitz'这个词（这是它在网站上的显示方式），我得到： u'H\�\�ftsitz' （Scrapy XPath选择器返回Unicode字符串）。

如果我将其编码为UTF-8 ，我得到： 'H\\xef\\xbf\\xbd\\xef\\xbf\\xbdftsitz' 。 如果我打印出来，我会得到'H??ftsitz' ，这是不正确的。 我想知道为什么会这样。

网站上的character-set设置为UTF-8 。 我在Python shell上测试上面的内容， sys.getdefaultencoding设置为UTF-8 。 使用Django应用程序，其中来自XPath选择器的数据被写入具有UTF-8字符集的MySQL数据库，我看到相同的行为。

我忽略了一些明显的东西吗？ 任何线索或帮助将不胜感激。

Answer 1

u'\\ ufffd'是“unicode替换字符” ，通常在黑色三角形内打印为问号。 不是au umlaut。 所以问题必须在某个上游。 检查网页标题所说的返回的编码，并确认它实际上是它所说的内容。

通常插入unicode替换字符作为非法或无法识别的字符的替代，这可能是由几件事引起的，但最有可能的是编码不是它声称的。

Answer 2

非常感谢你的回答，John和Steven。 你的回答让我的思维方式不同，这让我找到了问题的根源，也找到了一个有效的解决方案。

我正在使用以下测试代码：

import urllib
import urllib2
from scrapy.selector import HtmlXPathSelector
from scrapy.http import HtmlResponse

URL = "http://jackjones.bestsellershop.com/DE/jeans/clark-vintage-jos-217-sup/37246/37256"

url_handler = urllib2.build_opener()
urllib2.install_opener(url_handler)

handle = url_handler.open(URL)
response = handle.read()
handle.close()

html_response = HtmlResponse(URL).replace(body=response) # Problematic line
hxs = HtmlXPathSelector(html_response)

desc = hxs.select('//span[@id="attribute-content"]/text()')
desc_text = desc.extract()[0]
print desc_text
print desc_text.encode('utf-8')

在Scrapy shell中，当我提取描述数据时，它很好。 它让我有理由怀疑我的代码中出现了问题，因为在pdb提示符下，我看到了提取数据中的替换字符。

我浏览了响应类的Scrapy文档，并将上面的代码调整为：

import urllib
import urllib2
from scrapy.selector import HtmlXPathSelector
from scrapy.http import HtmlResponse

URL = "http://jackjones.bestsellershop.com/DE/jeans/clark-vintage-jos-217-sup/37246/37256"

url_handler = urllib2.build_opener()
urllib2.install_opener(url_handler)

handle = url_handler.open(URL)
response = handle.read()
handle.close()

#html_response = HtmlResponse(URL).replace(body=response)
html_response = HtmlResponse(URL, body=response)
hxs = HtmlXPathSelector(html_response)

desc = hxs.select('//span[@id="attribute-content"]/text()')
desc_text = desc.extract()[0]
print desc_text
print desc_text.encode('utf-8')

我做的更改是用html_response = HtmlResponse(URL, body=response)替换行html_response = HtmlResponse(URL).replace(body=response) html_response = HtmlResponse(URL, body=response) 。 我的理解是， replace()方法以某种方式从编码的角度来破坏特殊字符。

如果有人想填写任何确切的replace()方法错误的细节，我会非常感谢这一努力。

再一次谢谢你。

Answer 3

U + FFFD是替换字符，你得到当你做some_bytes.decode('some-encoding', 'replace')和一些子some_bytes不能被解码。

你有两个： u'H\�\�ftsitz' ...这表明u-umlaut表示为两个字节，每个字节都无法解码。 最有可能的是，该站点以UTF-8编码，但该软件试图将其解码为ASCII。 尝试以ASCII格式解码通常在意外转换为Unicode时发生，并且ASCII用作默认编码。 但是在这种情况下，人们不会期望使用'replace' arg。 更有可能的是，代码采用编码并且由认为“不引发异常”的人写的意思与“工作”相同。

编辑您的问题以提供URL，并显示产生u'H\�\�ftsitz'的最小代码。