Splash / PhantomJS（用於JavaScript渲染）可以與Wget一起下載網頁嗎？

Question

對於wget，在許多情況下，它僅返回“關閉您的JavaScript以繼續”

我發現一些文章說python可以使用Splash / PhantomJS進行渲染，但是我對python編程並不熟悉，因此，如果有可以與wget集成的解決方案將是完美的。 謝謝

Answer 1

您不能僅使用wget做到這一點。 但是您可以使用一些PhantomJS腳本：

$ phantomjs dl_page.js http://stackoverflow.com/questions > stackoverflow.html

dl_page.js ：

const system = require('system');
const page = require('webpage').create();

page.open(system.args[1], function()
{
    console.log(page.content);
    phantom.exit();
});

Answer 2

您可以使用Splash的HTTP API 。

要獲取呈現的HTML，請使用/render.html端點 ，將URL作為參數傳遞，還可以選擇使用一些wait參數：

wget -qO- 'http://localhost:8050/render.html?url=http://www.example.com/&timeout=10&wait=0.5'