Splash / PhantomJS（用于JavaScript渲染）可以与Wget一起下载网页吗？

Question

对于wget，在许多情况下，它仅返回“关闭您的JavaScript以继续”

我发现一些文章说python可以使用Splash / PhantomJS进行渲染，但是我对python编程并不熟悉，因此，如果有可以与wget集成的解决方案将是完美的。 谢谢

Answer 1

您不能仅使用wget做到这一点。 但是您可以使用一些PhantomJS脚本：

$ phantomjs dl_page.js http://stackoverflow.com/questions > stackoverflow.html

dl_page.js ：

const system = require('system');
const page = require('webpage').create();

page.open(system.args[1], function()
{
    console.log(page.content);
    phantom.exit();
});

Answer 2

您可以使用Splash的HTTP API 。

要获取呈现的HTML，请使用/render.html端点 ，将URL作为参数传递，还可以选择使用一些wait参数：

wget -qO- 'http://localhost:8050/render.html?url=http://www.example.com/&timeout=10&wait=0.5'