[英]How to preprocess twitter text data using python
從mongoDB
檢索后,我有以下格式的文本數據:
**
[u'In', u'love', u'#Paralympics?\U0001f60d', u"We've", u'got', u'nine', u'different', u'sports', u'live', u'streams', u'https://not_a_real_link', u't_https://anotherLink']
[u't_https://somelink']
[u'RT', u'@sportvibz:', u'African', u'medal', u'table', u'#Paralympics', u't_https://somelink', u't_https://someLink']
**
但是我想用單詞“ URL”替換列表中的所有URL,同時保留列表中的其他文本,例如:
[u'In', u'love', u'#Paralympics?\U0001f60d', u"We've", u'got', u'nine', u'different', u'sports', u'live', u'streams', u'URL', u'URL']
但是,當我運行代碼以刪除停用詞並執行正則表達式時,我得到以下結果樣本:
**
In
URL
RT
**
請大家幫忙,因為我發現這很困難。
這是我目前的代碼:
def stopwordsRemover(self, rawText):
stop = stopwords.words('english')
##remove stop words from the rawText argument and store the result list in processedText variable
processedText = [i for i in rawText.split() if i not in stop]
return processedText
def clean_text(self, rawText):
temp_raw = rawText
for i, text in enumerate(temp_raw):
temp = re.sub(r'https?:\/\/.*\/[a-zA-Z0-9]*', 'URL', text)
return temp
這是錯誤的:
def clean_text(self, rawText):
temp_raw = rawText
for i, text in enumerate(temp_raw):
temp = re.sub(r'https?:\/\/.*\/[a-zA-Z0-9]*', 'URL', text)
return temp
您返回最后一個替換的字符串而不是列表,該列表應該替換您的rawText
輸入列表(我必須承認,我似乎很快就對您似乎獲得了第一項感到困惑,但我仍然對解釋充滿信心)
改為:
def clean_text(self, rawText):
temp = list()
for text in rawText:
temp.append(re.sub(r'https?:\/\/.*\/\w*', 'URL', text)) # simpler regex with \w
return temp
使用listcomp:
def clean_text(self, rawText):
return [re.sub(r'https?:\/\/.*\/\w*', 'URL', text) for text in rawText]
您也可以就地工作,直接修改rawText
:
def clean_text(self, rawText):
rawText[:] = [re.sub(r'https?:\/\/.*\/\w*', 'URL', text) for text in rawText]
聲明:本站的技術帖子網頁,遵循CC BY-SA 4.0協議,如果您需要轉載,請注明本站網址或者原文地址。任何問題請咨詢:yoyou2525@163.com.