请求承诺不适用于此 URL？

Question

我刚刚尝试了以下代码来获取此 URL - https://www.data.ai/account/login/?_ref=header的响应

但它没有成功，也没有返回任何结果（代码待机更多小时）。 问题出在 URL 还是我的代码上？

var rp = require('request-promise');
rp.get('https://www.data.ai/account/login/?_ref=header',{ resolveWithFullResponse: true });

如果我尝试了其他一些 url 例如 google.com 那么它会得到结果。

Answer 1

您的代码不起作用，因为 JavaScript 用于在站点上构建 DOM。 或者该站点正在使用防刮保护。 我建议你使用Puppeteer ：

const puppeteer = require("puppeteer-extra");
const StealthPlugin = require("puppeteer-extra-plugin-stealth");

puppeteer.use(StealthPlugin());

async function scrapeDataAI() {
  const BASE_URL =
    "https://www.data.ai/account/login/?_ref=header";

  const browser = await puppeteer.launch({
    headless: false,
    args: ["--no-sandbox", "--disable-setuid-sandbox"],
  });
  const page = await browser.newPage();
  await page.goto(BASE_URL);
  // More commands here...
  /* You may view the docs at:
       https://pptr.dev/
     And more magic at:
       https://www.npmjs.com/package/puppeteer
     Github:
       https://github.com/puppeteer/puppeteer
  */

  // await browser.close();
}

scrapeDataAI();