从网页中仅提取有意义的文本

Question

我正在获取网址列表，并使用nltk对其进行抓取。 我的最终结果是列表形式，网页上的所有单词都在列表中。 麻烦的是，我只在寻找不是常用的英语“糖”字词的关键字和词组，例如“ as，and，like，to，am，for”等。我知道我可以用所有常见的文件构造文件英文单词，然后将其从我的已删除标记列表中删除，但是某些库的内置功能会自动执行此操作吗？

我实质上是在页面上寻找有用的单词，这些单词不是蓬松的，并且可以为页面的内容提供一些上下文。 就像stackoverflow上的标签或google用于seo的标签一样。

Answer 1

我认为您正在寻找的是nltk.corpus中的stopwords.words：

>>> from nltk.corpus import stopwords
>>> sw = set(stopwords.words('english'))
>>> sentence = "a long sentence that contains a for instance"
>>> [w for w in sentence.split() if w not in sw]
['long', 'sentence', 'contains', 'instance']

编辑：搜索停用词可能重复： 使用NLTK 移除停用词 ， 如何使用nltk或python移除停用词 。 请参阅这些问题的答案。 并考虑词干对术语频率的影响？ 太

Answer 2

虽然您可能会在NLTK（以及其他地方）中获得可靠的停用词列表，但是您可以根据处理的数据（寄存器）的类型轻松构建自己的列表。 您不希望使用的大多数单词都是所谓的语法单词 ：它们非常频繁，因此您可以通过按降序对频率列表进行排序并丢弃n首项来轻松地捕获它们。

以我的经验，任何中等大的语料库（运行文本> 10k的标记）的前100个等级几乎都不会包含任何内容词 。

但是，您似乎对提取关键字感兴趣。 对于此任务，纯频率签名不是很有用。 您将需要将频率转换为相对于参考语料库的其他值：这称为加权，并且有很多不同的方法来实现。 TfIdf自1972年以来就是行业标准。

如果您打算花时间做这些任务，请获取有关语料库语言学或计算语言学的入门手册。

Answer 3

您可以查找可用的语料库语言学，以获取有关词频的数据（以及其他注释）。

您可以从Wikipedia上的链接开始： http : //en.wikipedia.org/wiki/Corpus_linguistics#External_links

您可能会在https://linguistics.stackexchange.com/上找到更多信息