如何在网页上找到内容根标签

Question

我需要找到网页的主要内容并将其提取以保存在数据库中。

Evernote Webclipper和其他插​​件（我在Chrome上使用了它们），可以轻松阅读网页，能够找到网页的主要内容并消除所有其他干扰，以更大的字体大小和更易读的格式重新格式化文本字体系列。

我想构建类似的功能，因为我需要保存网站的特定页面，并且仅保存其主要内容（条款和服务页面以及隐私权政策），删除侧边栏，标题等。

我将使用Symfony的Crawler组件在PHP中构建此东西，但是我无法弄清楚如何评估每个标签来查找处理网页的主要内容。

有任何想法吗？

我想到的是计算p标签的数量并计算它们的平均长度，因此，标签中p的数量越多，它们的平均长度越高，可以给我一些指导...

Answer 1

搜索引擎结果驱动网站的内容趋势。 搜索引擎试图提取有意义的内容以显示相关的搜索结果。 随着搜索引擎的发展，Web开发人员致力于提供排名越来越高的内容。 这导致高质量站点中的数据结构良好。

提取有意义内容的大多数工具都会对标记进行语义分析。 感兴趣的搜索词是semantic markup和rich snippets 。