Python自然语言处理停用词[重复]

Question

这个问题在这里已有答案：

• 为什么这些词被视为停用词？ 1个答案

我正在用Python研究NLP，我发现了一些奇怪的东西。

审核以下否定推文：

neg_tweets = [('I do not like this car', 'negative'),
          ('This view is horrible', 'negative'),
          ('I feel tired this morning', 'negative'),
          ('I am not looking forward to the concert', 'negative'),<---
          ('He is my enemy', 'negative')]

并通过删除停用词进行一些处理。

clean_data = []
stop_words = set(stopwords.words("english"))

for (words, sentiment) in pos_tweets + neg_tweets:
words_filtered = [e.lower() for e in words.split() if e not in stop_words]
clean_data.append((words_filtered, sentiment))

部分输出是：

 (['i', 'looking', 'forward', 'concert'], 'negative')

我很难理解为什么停用词包含'not'，这会影响推文的情绪。

我的理解是，停止词在情绪方面没有价值。

所以，我的问题是为什么'不'包括在停用词列表中？

Answer 1

句子中的停用词“通常”很少或没有用。 正如斯坦福NLP小组所说：

有时，一些非常常见的单词在帮助选择符合用户需求的文档时似乎没什么价值，完全从词汇表中排除。 这些词被称为停用词

为什么单词“not”？ ：仅仅因为它经常出现在英语词汇中，并且“通常”很少或没有重要性，例如，如果您正在进行文本摘要，这些停用词几乎没有用，而且全部由频率分布决定。单词（如tf-idf 。

所以，你可以做什么？ 嗯，这是一个非常广泛的话题，称为否定处理 。 这是一个非常广泛的领域，有许多不同的方法。 我最喜欢的一个是在删除停用词或计算单词向量之前简单地附加前面或后面的否定子句。 例如，你可以转换为not looking not_looking ，当计算并转换为向量空间时，它将完全不同。 你可以在这里找到一个代码来做类似的回答。

我希望这有帮助！