在网页中找到“文章”的算法？

Question

一些浏览器插件（如可读性）可以从网页中提取“文章”。 有谁知道如何做？ 真实文章与广告或评论之间有什么区别？

Answer 1

好吧，这取决于您要如何定义“真实文章” ...

考虑到HTML5，网页由语义标记构成。 页面不再需要使用<div>这样完全没有语义含义的元素来构建。 在HTML5中，您可以使用<section> ， <article> ， <header> 等等 。 这些元素可以使应用程序很好地了解网页的主要内容（例如，print <article>而跳过<nav> ...）。

当然，还没有很多页面使用这些标签。 此外，标签可能会被滥用并失去其含义。 在那种情况下，我会坚持一些统计数据，例如选择HTML文档中最大的元素。 此外，如果您必须抓取网页，则可以使用某些模式匹配算法的修改，例如DIPRE。