在Python中仅在字符串中保留字母数字符号吗？

Question

我正在使用Python 2.7。 在SO上，我发现以下用于删除非单词字符的正则表达式：

pat = re.compile('[\W]+', re.UNICODE)

我写了下一个函数：

def leave_only_alphanumeric(string):
  pat = re.compile('[\W]+', re.UNICODE)
  return re.sub(pat,' ',string)

虽然在以下字符串上：

kr\xc3\xa9m

它产生错误的结果：

kr\xc3 m 

\\xa9已从字符串中删除，但不应删除。

Answer 1

您在混淆unicode代码点和utf-8编码。

您要处理的字母是é ，代码点u00e9 。
它在utf-8中编码为两个字节，即0xc3和0xa9。

尝试：

>>> "kr\xc3\xa9m".decode('utf-8')
u'kr\xe9m'
>>> print("kr\xc3\xa9m")
krém
>>> print(u"kr\xe9m")
krém

使用u"" ，必须使用实际的代码点。 当使用raw "" ，python只会看到一个字节链。

请注意，第二行仅适用于我的终端，因为我的终端的编码是utf-8，否则我会看到乱码。

结果，您的字符串不是您所想的：

>>> print(u"kr\xc3\xa9m")
krém

您实际上输入了两个字符，分别是代码点u00c3和u00a9 。 前一个是Ã ，这是一个字母字符，第二个是© ，这不是，这就是为什么您的代码删除了它。

现在玩您的代码：

>>> def leave_only_alphanumeric(string):
...   pat = re.compile('[\W]+', re.UNICODE)
...   return re.sub(pat,' ',string)
...
>>> leave_only_alphanumeric(u"kr\xe9m")
u'kr\xe9m'
>>> leave_only_alphanumeric("kr\xc3\xa9m")   # this is not unicode
'kr\xc3 m'                                   #     -> thus the wrong result
>>> leave_only_alphanumeric("kr\xc3\xa9m".decode('utf-8'))
u'kr\xe9m'
>>> leave_only_alphanumeric("kr\xc3\xa9m".decode('utf-8')).encode('utf-8')
'kr\xc3\xa9m'
>>>

Answer 2

我相信regex在这里可能会有些过分。

def leave_only_alphanumeric(string):
    return ''.join(ch if ch.isalnum() else ' ' for ch in string)

编辑 ：您的标题说“字母数字”，但您的代码也删除数字。 因此，有些不确定性。