使用NodeJS抓取网站的javascript变量

Question

我正在尝试使用NodeJS应用程序刮擦网站变量的实时值。

我已经尝试过“ cheerio”，但没有成功。 它仅以字符串形式返回目标的HTML，而不是变量的运行时值。

例如，“ www.google.com”的“ google.authuser”的值

屏幕截图

请给我建议一个简单的解决方案。 谢谢。

Answer 1

感谢Headless浏览器的建议。 无头的Chrome NodeJS API Puppeteer为我工作。

async function crawl() {
const puppeteer = require('puppeteer');
const browser = await puppeteer.launch();

const page = await browser.newPage();
await page.goto('http://www.google.com');

const dataPromise = await page.evaluate(() => {
    return Promise.resolve({
        number: google.authuser
    });
});

browser.close();
return dataPromise;}