英语的“停用词”列表？ [关闭]

Question

关闭。 这个问题是题外话。 它目前不接受答案。

---

想改善这个问题吗？ 更新问题，使其成为 Stack Overflow的主题。

8 年前关闭。

改进这个问题

我正在为一些英语文本生成一些统计数据，我想跳过诸如“a”和“the”之类的无趣词。

• 我在哪里可以找到这些无趣的单词的列表？
• 这些单词的列表与英语中最常用的单词列表相同吗？

更新：这些显然被称为“停用词”而不是“跳过词”。

Answer 1

放入谷歌的神奇词是“停用词”。 这会产生一个看起来合理的列表。

MySQL 也有一个 内置的停用词列表，但这对我的口味来说太全面了。 例如，在我们的大学图书馆，我们遇到了问题，因为“第三世界”中的“第三”被认为是停用词。

Answer 2

这些被称为停用词，请查看此示例

Answer 3

根据您使用的英语子域，您可能已经/希望编制自己的停用词列表。 某些通用停用词在域中可能是有意义的。 例如，“are”这个词实际上可能是某个领域中的缩写/首字母缩略词。 相反，您可能希望根据您的应用程序忽略某些特定于领域的词，而在通用英语领域中您可能不想忽略这些词。 例如，如果您正在分析医院报告的语料库，您可能希望忽略诸如“历史”和“症状”之类的词，因为它们在每份报告中都会出现并且可能没有用（从普通的倒排索引角度来看）。

否则，谷歌返回的列表应该没问题。 Porter Stemmer使用这个，Lucene 搜索引擎实现使用这个。

Answer 4

获取有关大型 txt 语料库中词频的统计信息。 忽略频率 > 某个数字的所有单词。

Answer 5

我觉得我用德语停止字从这里时，我前一阵子建有lucene.net一个搜索应用程序。 该站点也包含一个英文列表，并且站点上的列表显然也是 lucene 项目默认使用的列表。

Answer 6

通常这些词会出现在最高频率的文档中。 假设您有一个全局单词列表：

{ Word Count }

使用单词列表，如果您将单词从最高计数到最低计数，您将得到一个图形（计数（y 轴）和单词（x 轴），它是逆对数函数。所有停用词都将是在左边，“停止词”的停止点将在最高一阶导数存在的地方。

此解决方案比字典尝试更好：

• 此解决方案是一种不受语言限制的通用方法
• 此尝试了解哪些词被视为“停用词”
• 这种尝试将为非常相似的集合产生更好的结果，并为集合中的项目生成唯一的单词列表
• 可以在以后重新计算停用词（这样可以进行缓存和统计确定停用词可能从计算时开始发生变化）
• 这也可以消除基于时间或非正式的单词和名称（例如俚语，或者如果您有一堆以公司名称作为标题的文档）

字典尝试更好：

• 查找时间要快得多
• 结果被预缓存
• 这很简单
• 还有一些人想出了停用词。