在python中正则表达式和unicode utf-8？

Question

我有代码块:( Django代码）

        list_temp = []
        tagname_re = re.compile(r'^[\w+\.-]+$', re.UNICODE)
        for key,tag in list.items():
            if len(tag) > settings.FORM_MAX_LENGTH_OF_TAG or len(tag) < settings.FORM_MIN_LENGTH_OF_TAG:
                raise forms.ValidationError(_('please use between %(min)s and %(max)s characters in you tags') % { 'min': settings.FORM_MIN_LENGTH_OF_TAG, 'max': settings.FORM_MAX_LENGTH_OF_TAG})
            if not tagname_re.match(tag):
                raise forms.ValidationError(_('please use following characters in tags: letters , numbers, and characters \'.-_\''))
            # only keep one same tag
            if tag not in list_temp and len(tag.strip()) > 0:
                list_temp.append(tag)

这允许我将标记名称放在Unicode字符中。

但我不知道为什么我的Unicode（高棉解码高棉符号范围：19E0-19FF Unicode标准，版本4.0）。我不能。

我的问题 ：

如何更改上面的代码tagname_re = re.compile(r'^[\\w+\\.-]+$', re.UNICODE)以调整我的Unicode字符。因为如果我输入带有“នយោបាយ”的标签我得到了消息？

please use following characters in tags: letters , numbers, and characters \\'.-_\\''

Answer 1

ោ（U + 17C4 KHMER VOWEL SIGN OO）和ា（U + 17B6 KHMER VOWEL SIGN AA）不是字母，它们是组合标记，所以它们不匹配\\ w。

Answer 2

看看PyPI上的新正则表达式实现 ：

http://pypi.python.org/pypi/regex

使用Python 3，它说：

>>> import regex
>>> regex.match("\w", "\u17C4")
<_regex.Match object at 0x00F03988>
>>> regex.match("\w", "\u17B6")
<_regex.Match object at 0x00F03D08>

Answer 3

bobince的答案肯定是正确的。 但是，在你遇到这个问题之前可能还有另外一个 - 是tag肯定是unicode而不是str吗？ 例如：

>>> str_version = 'នយោបាយ'
>>> type(str_version)
<type 'str'>
>>> print str_version
នយោបាយ
>>> unicode_version = 'នយោបាយ'.decode('utf-8')
>>> type(unicode_version)
<type 'unicode'>
>>> print unicode_version
នយោបាយ
>>> r = re.compile(r'^(\w+)',re.U)
>>> r.search(str_version).group(1)
'\xe1'
>>> print r.search(str_version).group(1)

>>> r.search(unicode_version).group(1)
u'\1793\u1799'
>>> print r.search(unicode_version).group(1)
នយ

作为另一个小点，在正则表达式中，字符类中的+仅表示字母和标点符号中也允许使用文字+ 。