如何判断单词在文本中是否没有意义？

Question

我正在用Java创建一个微型搜索引擎，该引擎基本上可以捕获用户指定的所有RSS feed，然后允许他或她选择一个单词进行搜索。 由于RSS feed文档的数量相当有限，因此我正在考虑在用户输入其搜索词之前先处理这些文档。 我想通过创建将某些关键字链接到记录集合的哈希表来处理它们，这些记录包含文章本身以及单词在文章中出现的次数。 但是，如何确定关键字？ 我该如何辨别哪些词毫无意义？

Answer 1

在Solr中 ，我相信这些被称为“停用词”。

我相信他们只是使用文本文件来定义所有将不会搜索的单词。

Answer 2

“我应该忽略哪些单词？”的概念 通常称为停用词。 最好的搜索引擎不要使用停用词。 如果我是“ The The”乐队的粉丝，但如果您的搜索引擎找不到他们，我将感到非常沮丧。 同样，天真的停用词实现可能会弄乱搜索确切短语的过程。

顺便说一句，您正在谈论的哈希图称为反向索引。 我建议您阅读（免费的在线）这本书，以了解搜索引擎的构建方式： http : //nlp.stanford.edu/IR-book/information-retrieval-book.html

Answer 3

少量提取物。 Ch。的NLTK停用词 2 ：

还有一个停用词的语料库，即高频词，例如，到，还有我们有时希望在进一步处理之前从文档中过滤掉。 停用词通常没有什么词法内容，并且它们在文本中的出现无法将其与其他文本区分开。

>>> from nltk.corpus import stopwords
>>> stopwords.words('english')
['a', "a's", 'able', 'about', 'above', 'according', 'accordingly', 'across',
'actually', 'after', 'afterwards', 'again', 'against', "ain't", 'all', 'allow',
'allows', 'almost', 'alone', 'along', 'already', 'also', 'although', 'always', ...]

Answer 4

停用词是您应该使用的一件事。 网络上有很多停用词列表。

但是，我正在写一个答案，因为先前的答案没有提到TF-IDF ，它是衡量单词在文档集语境中的重要性的度量。

如果单词出现在文档中的次数很多（术语频率），而在其他文档中却不经常出现（相反的文档频率），则该单词很可能成为文档中的关键字。 这样，自然会忽略诸如a，the，where之类的词，因为它们出现在每个文档中。

PS在一个相关的主题上，您可能会对其他列表感兴趣，例如swearwords :) PPS Hashmaps是一件好事，但是您还应该检查后缀树以完成任务。