如何在PHP中使用curl獲取所有頁面分頁數據

Question

我已經實現了一個數據抓取腳本，該腳本使用CURL獲取數據。

但是，該獲取記錄僅記錄一頁，但是我想要所有數據，因為在該頁上有分頁。

我們正在使用獲取數據

$xpath = new DOMXPath($dom);
$xpath_resultset =  $xpath->query("//div[@class='parentListing']");

在上面的代碼中，parentListing是div類，我正在使用不同的不同類在div和grep之間獲取記錄。

誰能知道如何獲取所有頁面的分頁數據。

如果有人有任何建議，請幫助我。

謝謝...

Answer 1

我認為沒有通用的分頁類型。 您應該知道分頁元素div，ul，li或其名稱，類名稱等。然后您可以訪問分頁鏈接，並將請求發送到此鏈接

$xpath = new DOMXPath($dom);
$xpath_resultset =  $xpath->query("//div[@class='parentListing']/a");

否則，您必須遍歷所有dom並確定哪個元素可以是分頁元素。 一些頁面添加了下一個和上一個元鏈接。 您可以搜索以下標簽：

$xpath = new DOMXPath($dom);
$next_resultset =  $xpath->query("//link[@rel='next']");
$prev_resultset =  $xpath->query("//link[@rel='prev']");