使用simple_html_dom进行PHP解析，请检查

Question

我做了一个简单的解析器，用简单的html dom保存每页的所有图像并获取图像类，但是我不得不在循环中进行循环以便逐页传递，我认为某些事情在我的代码中并未得到优化，因为非常慢，并且总是超时或内存超过。 有人可以快速看一下代码，也许您看到我做的东西很愚蠢？

这是不包含库的代码...

$pageNumbers = array(); //Array to hold number of pages to parse

$url = 'http://sitename/category/'; //target url
$html = file_get_html($url);


//Simply detecting the paginator class and pushing into an array to find out how many pages to parse placing it into an array
foreach($html->find('td.nav .str') as $pn){
    array_push($pageNumbers, $pn->innertext);               
}

// initializing the get image class
$image = new GetImage;
$image->save_to = $pfolder.'/'; // save to folder, value from post request.

//Start reading pages array and parsing all images per page.
foreach($pageNumbers as $ppp){

    $target_url = 'http://sitename.com/category/'.$ppp; //Here i construct a page from an array to parse.
    $target_html = file_get_html($target_url); //Reading the page html to find all images inside next.

    //Final loop to find and save each image per page.
    foreach($target_html->find('img.clipart') as $element) {
        $image->source = url_to_absolute($target_url, $element->src);
        $get = $image->download('curl'); // using GD
        echo 'saved'.url_to_absolute($target_url, $element->src).'<br />';           
    }

}

谢谢。

Answer 1

我建议制作一个函数来执行实际的简单html dom处理。 我通常使用以下“模板” ...请注意“清除内存”部分。 显然在PHP 5中存在内存泄漏...至少我在某个地方读过。

function scraping_page($iUrl)
{
    // create HTML DOM
    $html = file_get_html($iUrl);

    // get text elements
    $aObj = $html->find('img');

    // do something with the element objects

    // clean up memory (prevent memory leaks in PHP 5)
    $html->clear();  // **** very important ****
    unset($html);    // **** very important ****

    return;  // also can return something: array, string, whatever
}

希望能有所帮助。

Answer 2

您在这里做的很多，我对脚本超时并不感到惊讶。 您下载了多个网页，进行了解析，在其中找到了图像，然后下载了这些图像...多少页，每页多少张图像？ 除非我们说的数字很小，否则这是可以预期的。

鉴于此，我不确定您的真正问题是什么，但是我假设这是“我如何进行这项工作？”。 您有几种选择，这实际上取决于它的用途。 如果是一次性刮除某些站点，增加内存和时间限制，也许分担一些工作以做一些工作，然后下次将其写成更合适的东西，则;）

如果这是在服务器端发生的，则它可能应该与用户交互异步发生-即，不是用户请求某个页面（该页面必须在返回之前完成所有这些操作），而应该在后台进行。 它甚至不必是PHP，您可以使脚本以任何语言运行，从而将要传递的内容抓取并执行。