在浏览器环境中执行1000多页/分钟

Question

我将如何每分钟下载和执行（即评估Javascript，构建DOM）超过1000个XHTML文档？

一些概述/限制：

• 要下载的URL位于不同的服务器上。
• 我需要遍历 - 并理想地修改生成的DOM。
• 没兴趣渲染图形。
• 带宽不是问题。
• 过度大规模的硬件并行化将成为一个问题。
• 生产环境是.NET。

我不太关心下载页面。 我估计实际上排除页面是一个瓶颈。 .NET有一个内置的Web浏览器对象，但我不知道它是否可以在一台机器上扩展。 此外，.NET不是绝对的要求，但它会使这里的集成更容易。

对于有关以下内容的任何意见/建议，我将不胜感激：

• 哪种浏览器API最适合这样做？
• 浏览器是一种正确的方法 - 也许有一种更轻量级的方式来执行Javascript，这是最重要的部分（......但不提供DOM）？
• 现有的产品/服务 - 无论是开源还是商业 - 可以完成任务？
• 大概每分钟我可以在一台机器上处理多少页（3ms Chrome渲染商业版）？
• 人们可能遇到的任何陷阱......

先感谢您，

/大卫

Answer 1

看一下.NET的无头浏览器 - 它们比BrowserControl更快，因为它们不需要渲染图形视图。

我不知道这是否允许你每分钟执行1000页，但应该比控件快得多。

这是一个。

这是一篇关于使用HtmlUnit作为无头浏览器的博客文章。

关于无头浏览器的SO问题 。

Answer 2

我有一个在WinForms中实现的应用程序，它可以在大约5分钟内处理大约7,800个URL（下载URL，解析内容，查找特定的数据片段以及它是否找到了它在该页面上进行的其他处理。

这个特定的应用程序运行需要26到30分钟才能运行，但是通过将代码更改为TPL（.NET v4.0中的任务并行库），它只需要执行5个。计算机是带有双四核的Dell T7500工作站Xeon处理器（3 GHz），运行24 GB RAM和Windows 7 Ultimate 64位版本。

我只是在Parallel.ForEach（）循环中使用WebClient，Stream和StreamReader对象，而且速度非常快。

可能不是您正在寻找的确切解决方案，但与我在此处看到的大多数其他帖子不同，这实际上“处理1,000页/分钟”[以及更多]。

值得思考的东西......

Answer 3

我认为如果你没有与.net解决方案结合，node.js可以做你想做的很多事情并快速完成。 它肯定有一个dom实现。