PHP - 抓取 javascript 网站

Question

我正在尝试使用 php curl 检查任何列入黑名单的关键字的网站内容。 但是使用 curl 我不会得到 JS 脚本生成的内容。 我必须扫描数千个网站，效率是这里的重点。 我需要获取 js 内容。 到目前为止，我遇到了 Phantomjs-php。 是否有任何其他 js 脚本将占用更少的资源来与 php 一起使用。 我只需要获取 html 内容。 对此的任何见解都非常感谢，因为我是获取 JS 生成内容的新手。

谢谢林恩

Answer 1

我很确定Codeception会为您解决问题。

您可以将其配置为与无头浏览器一起使用，就像 phantom.js 和 puppeteer 一样，并查看您的 js 生成的内容。 您想要做的样本验收测试如下所示：

$I->amOnPage('/login');
$I->fillField('username', 'davert');
$I->fillField('password', 'qwerty');
$I->click('LOGIN');
$I->see('Welcome, Davert!');

取自： https://codeception.com/docs/03-AcceptanceTests