如何从完整的网站（不是单个页面）中获取特定元素

Question

想要从完整的网站中选择一个元素。 在Google搜索了几个小时，没有结果。 也许我搜索了错误的术语，但是我似乎找不到解决该问题的方法。

我获取了sitemap.xml，并使用下面的代码获取了所有链接。

我想使用此XML链接从所有链接中获取元素。

<?php  

$urls = array();  

$DomDocument = new DOMDocument();
$DomDocument->preserveWhiteSpace = false;
$DomDocument->load('https://www.ivory.co.il/sitemap.xml');
$DomNodeList = $DomDocument->getElementsByTagName('loc');

foreach($DomNodeList as $url) {
    $urls[] = $url->nodeValue;
}

//display it
echo "<pre>";
print_r($urls);
echo "</pre>";

?>

需要帮忙...

Answer 1

使用simplexml_load_file （因为它是公共可用的）：

<?php
$url = "https://www.ivory.co.il/sitemap.xml";

$xml = simplexml_load_file($url) or die ("Error: Cannot create object");
$locs = array();

for($i=0; $i<count($xml->url); $i++){
    $locs[$i] = (string) $xml->url[$i]->loc;
}

echo "<pre>";
print_r($locs);

输出：

Array
(
    [0] => https://www.ivory.co.il/
    [1] => https://www.ivory.co.il/%D7%97%D7%[...]
    [2] => https://www.ivory.co.il/%D7%98%D7%[...]
    [3] => https://www.ivory.co.il/%D7%9B%D7%[...]
    [4] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [5] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [6] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [7] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [8] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [9] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [10] => https://www.ivory.co.il/%D7%9E%D7%[...]
    [...]
)

然后，您可以访问每个URI与curl功能，迭代链接的阵列和处理每个访问来获取数据（文档是在这里 ，和一些技巧在这里为好）。

例：

$curl = curl_init();
curl_setopt_array ($curl, array(
          CURLOPT_URL => $locs[1],
          CURLOPT_RETURNTRANSFER => true)
);
$result = curl_exec($curl);
curl_close ($curl);
echo $result;