需要建议：使用 .NET 屏幕抓取 web 页面

Question

对于我即将开始的项目，我需要一个建议。

简而言之，我的应用程序必须 go 到某个足球网站，下载 HTML 并提取必要的数据。

这是我到目前为止所做的：

:: 1) Go 到某个足球网站（例如http://www.livescore.com/default.dll?page=england ）并使用 WebClient 下载 HTML。

:: 2)使用 SgmlReader 将 HTML 转换为 XML

:: 3)使用 XmlDocument 检索我要查找的数据。 通常这涉及：

:::::::: 3.1)使用 GetElementsByTagName() 检索节点（例如 GetElementsByTagName("tr")）

:::::::: 3.2)循环遍历 GetElementsByTagName() 方法返回的节点列表

有没有更好的方法来做我想做的事情？

我在想 LINQ 到 XML。你认为这会提高性能吗？

任何建议或意见将不胜感激！

Answer 1

只需使用 HTML 敏捷包！ http://www.codeplex.com/htmlagilitypack

通过这种方式，您可以使用 XPath 查询文档以获取所需的节点。 您甚至可以使用 Firefox 的插件 Firebug 来帮助您构建 XPath 查询

Answer 2

使用诸如这些为您完成大部分工作的服务。 您还可以使用Dapper等免费服务。 我相信你可以导出不同格式的数据，虽然我不知道你是否可以实时抓取数据，你可能会有延迟。

如果您不想在内部对所有内容进行编程，使用第 3 方解决方案可以节省您的时间和金钱。

Answer 3

将数据转换为 XML 后，您可以使用XSLT将其转换为更简单的一组 XML 并且更适合您的目的。 从那里你可以使用 LINQ 到 XML 从 XML 中获取你需要的数据。这种方法的好处是它将网站与数据收集分离，这样当网站改变它们的格式时你可以简单地改变 XSLT 来匹配并且没有其他东西必须被触及。