如何从原始HTML文件提取数据？

Question

有没有一种方法可以从原始的HTML中提取所需的数据，而这些原始HTML是没有IDs和classes ，因此无法正确编写？ 我的意思是，假设存在网页（配置文件）的已保存html文件，并且我想提取诸如“爱好”之类的数据。 是否可以使用PHP做到这一点？

Answer 1

BeautifulSoup http://www.crummy.com/software/BeautifulSoup/ ，也许吗？

Answer 2

听起来您正在寻找PHP DOM解析器，例如this 。 如果HTML确实没有语义结构，那么提取所需的数据可能会有些棘手，但是DOM解析器是起点。

Answer 3

是的，该技术被称为刮网 。 如果DOM有效，则可以使用DOM。 如果页面是动态生成的，则生成器将使用某种结构，根据我的经验，您始终可以隔离感兴趣的元素。

如果DOM对您不起作用，则可以使用正则表达式（这就是编写Web蜘蛛时我经常使用的表达式）。 与针对DOM层次结构编写抓取逻辑相比，正则表达式更有效，更快捷。 因此，您需要打开一些配置文件页面并分析静态结构。 然后只需编写一个正则表达式即可隔离感兴趣的字段。

Answer 4

使用正则表达式 ！ 我开玩笑，我开玩笑。 如果您知道同一页面的状态，并且可以保证格式足够相似，则可以尝试编写手动解析器。 另外，也有很多库可以解析html。 我对PHP不太熟悉，无法推荐一个，但是我敢肯定，某些​​Googleing可以带给您很多帮助。 之前，我对John Resig的纯JavaScript HTML解析器很幸运。

归根结底，如果您需要从不是以语义方式构建的html页面中获取语义信息，那么您可能会在编程上注定要失败，并且最好的选择可能是机械特克 。

Answer 5

PHP有两种方法。 首先是使用整洁的扩展名清理文档，以便它是有效的XHTML，因此是格式正确的XML，因此可以使用XML工具进行解析。

第二种是使用PHP版本的html5lib解析器，该解析器试图将HTML5研究实施到当前的浏览器解析例程中。 如果它显示在浏览器中，则html5lib可以对其进行解析。

使用这两种方法，您最终都会得到一个DOM对象，您可以使用xpath表达式进行查询。 由于您的理论文档缺乏语义结构，因此您将需要从“ 3rd p内的第5跨度”的思维方式来查看文档部分。

此处有更多信息（自链接警告）。