使用Python Unicode的特殊字符问题

Question

#!/usr/bin/env python
# -*- coding: utf_8 -*-

def splitParagraphIntoSentences(paragraph):

''' break a paragraph into sentences
    and return a list '''
    import re
# to split by multile characters

#   regular expressions are easiest (and fastest)
    sentenceEnders = re.compile('[.!?][\s]{1,2}(?=[A-Z])')
    sentenceList = sentenceEnders.split(paragraph, re.UNICODE)
    return sentenceList


if __name__ == '__main__':
p = "While other species (e.g. horse mango, M. foetida) are also grown ,Mangifera indica – the common mango or Indian mango – Sheffield’s only mango tree is valued at £9.2 billion."

sentences = splitParagraphIntoSentences(p)
for s in sentences:
    print s.strip()

预期产量：其他种类（如马芒果，鹅肝）也都在种植，而芒果（印度芒果或印度芒果）是谢菲尔德唯一的芒果树，价值92亿英镑。”

收成：虽然也种植了其他物种（例如马芒果，鹅肝），但芒果的单棵芒果树的价值却高达92亿卢比，其中普通芒果或印度芒果谢菲尔德谢菲尔德。

忽略句子的含义，主要要点是它不能使用特殊字符，例如“-”，“£”，“'”等。 我尝试使用其他编码（例如ascii，utf-32，cp-500，iso8859_15和utf-8）设置sitecustomize.py文件和此代码，但无法解决。 抱歉，我是python新手。 提前感谢您的帮助。

Answer 1

找到了解决方案。

下面的代码运行正常。

p = p.encode('utf-8') if isinstance(p,unicode)  else p

Answer 2

按照Nam的建议使用Unicode字符串文字是正确的，但是如果终端按照输出提示使用cp437代码页，则它将无法显示您要使用的某些Unicode字符。 Windows控制台不支持UTF-8，如果您声明coding: utf-8则发送的是UTF-8 coding: utf-8 ¹在源文件中并且不使用Unicode文字。 coding: utf-8声明源文件的编码，因此请确保您实际上以UTF-8编码保存源。

当您使用Unicode文字时，Python会以声明的编码解释源字符串，并将其转换为Unicode字符串。 当打印Unicode字符串时，Python会将字符串编码为终端编码，或者缺少终端编码，请为Python 2使用默认的ascii编码。

一个例子：

# coding: utf8

print '£9.2 billion'  # Sends UTF-8 to cp437 terminal (gibberish)
print u'£9.2 billion' # Correctly prints on cp437 terminal.
print 'Sheffield’s'   # Sends UTF-8 to cp437 terminal (gibberish)

# Replaces Unicode characters that are unsupported in cp437.
print u'Sheffield’s £9.2 billion'.encode('cp437','xmlcharrefreplace')

print u'Sheffield’s'  # UnicodeEncodeError.

产量

£9.2 billion
£9.2 billion
SheffieldΓÇÖs
Sheffield’s £9.2 billion
Traceback (most recent call last):
  File "C:\Documents and Settings\metolone\Desktop\x.py", line 10, in <module>
    print u'SheffieldΓÇÖs'  # UnicodeEncodeError.
  File "C:\dev\python27\lib\encodings\cp437.py", line 12, in encode
    return codecs.charmap_encode(input,errors,encoding_map)
UnicodeEncodeError: 'charmap' codec can't encode character u'\u2019' in position 9: character maps to <undefined>

因此，不要指望在Windows控制台上能正确打印所有Unicode的东西。 使用支持UTF-8的Python IDE，例如PythonWin（在pywin32扩展中可用）。

要在Windows控制台中正确显示Unicode字符，您需要做两件事：一种映射要映射的Unicode字符的编码，以及一种支持这些字符的正确字形的字体。 以您的示例为例，如果将控制台代码页更改为Windows-1252（ chcp 1252 ），并且将控制台字体更改为Consolas或Lucida Console而不是Raster Fonts，则如果使用Unicode文字（ p = u"..." ，则原始程序将可用p = u"..." ）。

Answer 3

看起来像cp437 。 尝试这个：

import codecs, sys
sys.stdout = codecs.getwriter('UTF-8')(sys.stdout)
print u"valued at £9.2 billion."

这在Python 2.6中对我有效。

Answer 4

p = "While other species..."

应该更改为

p = u"While other species..."

请注意引号前面的u 。

您需要的是所谓的Unicode文字。 在Python 2中，默认情况下字符串文字不是Unicode。