在Python 3中删除BMP（表情符号）之外的字符

Question

我有一个错误： UnicodeEncodeError: 'UCS-2' codec can't encode characters in position 266-266: Non-BMP character not supported in Tk

我正在解析数据，然后将一些表情符号分解为数组。 data = 'this variable contains some emoji'sツ😂'我想： data = 'this variable contains some emoji's'

如何从数据中删除这些字符或在Python 3中处理这种情况？

Answer 1

如果目标只是删除'\￿'以上'\￿'所有字符，那么直接的方法就是这样做：

data = "this variable contains some emoji'sツ😂"
data = ''.join(c for c in data if c <= '\uFFFF')

您的字符串可能是分解形式的，因此您可能需要先将其normalize为组合形式，以便可以识别非BMP字符：

import unicodedata

data = ''.join(c for c in unicodedata.normalize('NFC', data) if c <= '\uFFFF')

Answer 2

>>> import string
>>> printable = set(string.printable)
>>> filter(lambda x: x in printable, data)
"this variable contains some emoji's"

对于BMP，请阅读以下内容： 从Python中的字符串中删除表情符号