查询后获取网页结果的源代码？

Question

当我在网站上进行大量测试数据输入时，我正在尝试计算搜索框错误的次数。 因此，我试图获取查询结果，并查看html结果页面中是否有单词“ Error”。 我向网站提交查询后尝试下载生成的html网页。 我建立查询并使用wget下载生成的网页。

但是，仅显示html的主要内容，而不显示结果，因为它是通过使用外部javascript文件完成的。 仅当我在浏览器上右键单击“查看页面源”时，才能看到所需的html。 有没有一种非手动的方式来使用wget / curl下载此类页面源，而不必单击所有页面源？

Answer 1

javascript是程序，程序的结果在多项式时间内不确定（对于任意输入）。 因此，在沙盒环境中加载javascript，然后针对测试用例执行它会更容易。

Wget和curl无法做到这一点：它们没有任何功能可以检查/执行获取结果。 实际上，您需要的是一种可以从外壳高效地加载和测试脚本的浏览器，如wget / curl。 幸运的是，已经有这样的事情： Selenium 。 这是一个firefox / chrome / explorer扩展，使运行这些浏览器的实例可编写脚本，并易于远程控制。

如果您想在没有gui的情况下非交互地运行这些浏览器，建议您使用伪造的（无硬件）X服务器。

Google：硒，Google：无头X。祝您好运！