在读取CSV文件时，在熊猫/ Python中删除以'\\ x'开头的表情符号

Question

在Python中使用熊猫读取csv文件时，如何删除以'\\ x'开头的表情符号？ CSV文件中的文字中包含很多表情符号，我想将其删除。 但是，表情符号的正常模式匹配正则表达式不适用于它。 这是一个例子：

Thx WP for performing key democratic function. Trump wants to live in post truth world where words don't matter.  D\xe2\x80\xa6 |\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3|\n        ME LA PELAS \n      DONALD TRUMP \n|\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf|  \n             (\\__/)   ||\n             (\xe2\x80\xa2\xe3\x85\x85\xe2\x80\xa2) ||\n            / \xe3\x80\x80 \xe3\x81\xa5

这是适用于普通表情符号但不适用于这些表情符号的代码示例：

import re 

text = u'This dog \xe2\x80\x9d \xe2\x80\x9c' 
print(text) # with emoji 

emoji_pattern = re.compile("[" 
        u"\U0001F600-\U0001F64F"  # emoticons 
        u"\U0001F300-\U0001F5FF"  # symbols & pictographs 
        u"\U0001F680-\U0001F6FF"  # transport & map symbols 
        u"\U0001F1E0-\U0001F1FF"  # flags (iOS) 
                           "]+", flags=re.UNICODE) 
print(emoji_pattern.sub(r'', text)) # no emoji 

因此，以下代码可以工作：

import unicodedata 
from unidecode import unidecode 

def deEmojify(inputString): 
    returnString = "" 
    for character in inputString: 
        try: 
            character.encode("ascii") 
            returnString += character 
        except UnicodeEncodeError: 
            returnString += '' 
    return returnString 


print(deEmojify("I'm loving all the trump hate on Twitter right now \xf0\x9f\x99\x8c")) 

但是，当我使用熊猫从csv中读取内容时，它不起作用，并且表情符号没有被删除：

import pandas as pd 

df = pd.read_csv("Trump834.csv", encoding="utf-8") 


import unicodedata   
from unidecode import unidecode   

def deEmojify(inputString):   
    returnString = ""   
    for character in inputString:   
        try:   
            character.encode("ascii")   
            returnString += character   
        except UnicodeEncodeError:   
            returnString += ''   
    return returnString   



for i in range(df.shape[0]): 
    print(df.iloc[i]['Tweet']) 
    print(deEmojify(df.iloc[i]['Tweet'])) 
    print("****************************************") 

Answer 1

主要问题是您的源文件解码不正确。 使用不正确的编码（可能是cp1252或latin ）重新编码它们，并将其正确解码为utf8 。

例如：

>>> s = u'This dog \xe2\x80\x9d \xe2\x80\x9c'
>>> s.encode('latin1').decode('utf8')
'This dog ” “'
>>> s = u'''Thx WP for performing key democratic function. Trump wants to live in post truth world where words don't matter.  D\xe2\x80\xa6 |\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3\xef\xbf\xa3|\n        ME LA PELAS \n      DONALD TRUMP \n|\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf\xef\xbc\xbf|  \n             (\\__/)   ||\n             (\xe2\x80\xa2\xe3\x85\x85\xe2\x80\xa2) ||\n            / \xe3\x80\x80 \xe3\x81\xa5'''
>>> print(s.encode('latin1').decode('utf8'))
Thx WP for performing key democratic function. Trump wants to live in post truth world where words don't matter.  D… |￣￣￣￣￣￣￣￣￣￣|
        ME LA PELAS
      DONALD TRUMP
|＿＿＿＿＿＿＿＿＿＿|
             (\__/)   ||
             (•ㅅ•) ||
            / 　 づ
>>> s="I'm loving all the trump hate on Twitter right now \xf0\x9f\x99\x8c"
>>> s.encode('latin1').decode('utf8')
"I'm loving all the trump hate on Twitter right now 🙌"

然后，删除表情符号就可以了。