PHP - 抓取 javascript 網站

Question

我正在嘗試使用 php curl 檢查任何列入黑名單的關鍵字的網站內容。 但是使用 curl 我不會得到 JS 腳本生成的內容。 我必須掃描數千個網站，效率是這里的重點。 我需要獲取 js 內容。 到目前為止，我遇到了 Phantomjs-php。 是否有任何其他 js 腳本將占用更少的資源來與 php 一起使用。 我只需要獲取 html 內容。 對此的任何見解都非常感謝，因為我是獲取 JS 生成內容的新手。

謝謝林恩

Answer 1

我很確定Codeception會為您解決問題。

您可以將其配置為與無頭瀏覽器一起使用，就像 phantom.js 和 puppeteer 一樣，並查看您的 js 生成的內容。 您想要做的樣本驗收測試如下所示：

$I->amOnPage('/login');
$I->fillField('username', 'davert');
$I->fillField('password', 'qwerty');
$I->click('LOGIN');
$I->see('Welcome, Davert!');

取自： https://codeception.com/docs/03-AcceptanceTests